統計解析 第1回 条件付き独立性と確率的グラフィカルモデル 本講義の全体像 鈴木譲 2017年4月10日

ロードマップ 自己紹介, 講義の進め方 (20分) 本日の講義 (45分) 証明(10分) 演習問題(5分)

鈴木譲 (基礎工学研究科 システム創生 数理科学領域 統計数理講座 教授) 鈴木譲 (基礎工学研究科 システム創生 数理科学領域 統計数理講座 教授) 確率的グラフィカルモデル 機械学習 情報理論 1994年4月から、 2017年3月まで の23年間、 理学研究科数学専攻

講義のスケジュール 5/8(月)は、公務出張のため、休講。 日時 内容 キーワード 4/10, 4/17, 4/24 (最初の3回) 確率的グラフィカルモデルによる 表現 DAG, 無向グラフ Bayesianネット, Markovネット 5/15, 5/22,5/29, 6/5, 6/12,6/19, 6/26, 7/3 (8回) 確率的グラフィカルモデルにおける 機械学習 データ圧縮と機械学習 相互情報量の推定と独立性検定 事後確率最大のBNの構造学習 事後確率最大の森の学習 分枝限定法による計算量の削減 連続量を含む場合の適用 情報量基準の適用と、モデル選択の誤り率 ゲノム解析への適用 7/10, 7/17, 7/24 (最後の3回) 確率推論 Belief Propagation NP完全性の証明 統計力学との関連 (予備) 5/8(月)は、公務出張のため、休講。

ゲノム解析への応用 1000遺伝子の発現量と case/controlの変量 青: 遺伝子発現量 赤: SNP

学習と推論の関係 確率としてモデル化された知識の学習と推論

単位を取得するには 出席点 (毎回1点) 課題提出 (1問2点、毎回4問以上、合計50問以上) 60点以上で合格としているが、結果的に単位取得者の殆どは100点になっている 演習問題は、ビデオでヒントを詳しく(解答に限りなく近い)を言うので、 (阪大生なら) 難しくて提出できないことは絶対ない

数学(高校数学程度)には向かって行って欲しい 身につけて欲しいスキル、態度 機械学習、確率論理の知識だけではなく、その見方、考え方 自分の持っている知識を最大限に活用し、ないものは積極的 に学んでいく態度 数学的な論理展開力で、ものごとの真偽を見極める態度 数理科学、社会数理、数学ではない人も、 数学(高校数学程度)には向かって行って欲しい

Rパッケージ BNSL (Bayesian Network Structure Learning) 2017年3月5日公開 鈴木譲 (阪大) 川原純(NAIST) 提案アルゴリズムの他、 ベイジアンネットワークの自動生成など

Foundations of Probabilistic Graphical Models (Springer) 「既存のテキストの 問題点を改善する」 ということで、 Springerと契約した 1. Introduction; 2. Graphical Models; 3. Probabilistic Graphical Models; 4. Learning Bayesian Networks; 5. Learning Markov Networks; 6. Model selection with Information Criteria; 7.Probabilistic Inference with Graphical Models.

記法その他 特に、今回は、各確率変数が離散の値を取るものとして、議論を進める (一般化は可能だが、理解に時間を要する)

事象の独立性、条件付独立性

確率的グラフィカルモデル 確率変数間の(複数の)条件付き独立性をあらわすグラフ 有向非巡回グラフ(DAG): Bayesianネットワーク 無向グラフ: Markovネットワーク 無向グラフ DAG Bayesian ネットワーク Markov ネットワーク

(条件付き)因数分解をDAGであらわしたもの Bayesianネットワーク (BN) (条件付き)因数分解をDAGであらわしたもの 矢印が同じ方向 に向かっている 結ばれない 衝突

p頂点のDAGの個数 P=3の場合、各辺をどちらの方向にするか結ばないかで27通り ただし、ループになる(時計回り、反時計回り)場合(2通り)を除く

3変数の分布の因数分解

3変数のBN 講義では、p=3だけでなく、一般のp変数のBNを考えていく

極大 クリーク 2 極大 クリーク 1 Y X W Z

Y 極大 クリーク X Z

極大 クリーク 4 極大 クリーク 1 Y X W 極大 クリーク 2 Z 極大 クリーク 3

マルコフネットワーク

Bayesianネットワークも、Markovネットワークも 変数間の条件付き独立性を表現

Bayesianネットワークで表現できるが Markovネットワークでは表現できない 矢印の向きを除いても、同じにはならない =/= ＝＝ は成立しない 衝突を含むBNは、MNで表現できない

Markovネットワークで表現できるが Bayesianネットワークでは表現できない 矢印の向きを除いても、同じにはならない 長さ4以上の弧を含むMNは、BNでは表現できない Y Y Y X W X X W W Z Z Z

条件付き独立性に関する性質

まとめ この講義の進め方(ガイダンス) 独立性、条件付き独立性の定義 Bayesianネットワーク、Markovネットワークの定義 条件付独立性で成立する一般的な性質