統計解析 第1回 条件付き独立性と確率的グラフィカルモデル 本講義の全体像

Presentation on theme: "統計解析 第1回 条件付き独立性と確率的グラフィカルモデル 本講義の全体像"— Presentation transcript:

1 統計解析 第1回 条件付き独立性と確率的グラフィカルモデル 本講義の全体像
鈴木譲 2017年4月10日

2 ロードマップ 自己紹介, 講義の進め方 (20分) 本日の講義 (45分) 証明(10分) 演習問題(5分)

3 鈴木譲 (基礎工学研究科 システム創生 数理科学領域 統計数理講座 教授)
鈴木譲 (基礎工学研究科 システム創生 数理科学領域 統計数理講座 教授) 確率的グラフィカルモデル 機械学習 情報理論 1994年4月から、 2017年3月まで の23年間、 理学研究科数学専攻

4 講義のスケジュール 5/8(月)は、公務出張のため、休講。 日時 内容 キーワード 4/10, 4/17, 4/24 (最初の3回)
確率的グラフィカルモデルによる 表現 DAG, 無向グラフ Bayesianネット, Markovネット 5/15, 5/22,5/29, 6/5, 6/12,6/19, 6/26, 7/3 (8回) 確率的グラフィカルモデルにおける 機械学習 データ圧縮と機械学習 相互情報量の推定と独立性検定 事後確率最大のBNの構造学習 事後確率最大の森の学習 分枝限定法による計算量の削減 連続量を含む場合の適用 情報量基準の適用と、モデル選択の誤り率 ゲノム解析への適用 7/10, 7/17, 7/24 (最後の3回) 確率推論 Belief Propagation NP完全性の証明 統計力学との関連 (予備) 5/8(月)は、公務出張のため、休講。

5 ゲノム解析への応用 1000遺伝子の発現量と case/controlの変量 青: 遺伝子発現量 赤: SNP

6 学習と推論の関係 確率としてモデル化された知識の学習と推論

7 単位を取得するには 出席点 (毎回1点) 課題提出 (1問2点、毎回4問以上、合計50問以上)
60点以上で合格としているが、結果的に単位取得者の殆どは100点になっている 演習問題は、ビデオでヒントを詳しく(解答に限りなく近い)を言うので、 (阪大生なら) 難しくて提出できないことは絶対ない

8 数学(高校数学程度)には向かって行って欲しい
身につけて欲しいスキル、態度 機械学習、確率論理の知識だけではなく、その見方、考え方 自分の持っている知識を最大限に活用し、ないものは積極的 に学んでいく態度 数学的な論理展開力で、ものごとの真偽を見極める態度 数理科学、社会数理、数学ではない人も、 数学(高校数学程度)には向かって行って欲しい

9 Rパッケージ BNSL (Bayesian Network Structure Learning) 2017年3月5日公開
鈴木譲 (阪大) 川原純(NAIST) 提案アルゴリズムの他、 ベイジアンネットワークの自動生成など

10 Foundations of Probabilistic Graphical Models (Springer)
「既存のテキストの 問題点を改善する」 ということで、 Springerと契約した 1. Introduction; 2. Graphical Models; 3. Probabilistic Graphical Models; 4. Learning Bayesian Networks; 5. Learning Markov Networks; 6. Model selection with Information Criteria; 7.Probabilistic Inference with Graphical Models.

11 記法その他 特に、今回は、各確率変数が離散の値を取るものとして、議論を進める (一般化は可能だが、理解に時間を要する)

12 事象の独立性、条件付独立性

13

14

15 確率的グラフィカルモデル 確率変数間の(複数の)条件付き独立性をあらわすグラフ 有向非巡回グラフ(DAG): Bayesianネットワーク
無向グラフ: Markovネットワーク 無向グラフ DAG Bayesian ネットワーク Markov ネットワーク

16 (条件付き)因数分解をDAGであらわしたもの
Bayesianネットワーク (BN) (条件付き)因数分解をDAGであらわしたもの 矢印が同じ方向 に向かっている 結ばれない 衝突

17

18 p頂点のDAGの個数 P=3の場合、各辺をどちらの方向にするか結ばないかで27通り
ただし、ループになる(時計回り、反時計回り)場合(2通り)を除く

19 3変数の分布の因数分解

20 3変数のBN 講義では、p=3だけでなく、一般のp変数のBNを考えていく

21 極大 クリーク 2 極大 クリーク 1 Y X W Z

22 Y 極大 クリーク X Z

23 極大 クリーク 4 極大 クリーク 1 Y X W 極大 クリーク 2 Z 極大 クリーク 3

24

25 マルコフネットワーク

26 Bayesianネットワークも、Markovネットワークも
変数間の条件付き独立性を表現

27 Bayesianネットワークで表現できるが Markovネットワークでは表現できない
矢印の向きを除いても、同じにはならない =/= ＝＝ は成立しない 衝突を含むBNは、MNで表現できない

28 Markovネットワークで表現できるが Bayesianネットワークでは表現できない
矢印の向きを除いても、同じにはならない 長さ4以上の弧を含むMNは、BNでは表現できない Y Y Y X W X X W W Z Z Z

29 条件付き独立性に関する性質

30

31

32 まとめ この講義の進め方(ガイダンス) 独立性、条件付き独立性の定義 Bayesianネットワーク、Markovネットワークの定義
条件付独立性で成立する一般的な性質