確率を手なづける秘伝の計算技法 ～古くて新しい確率・統計モデルのパラダイム～ その２：ベイジアンネットと確率推論の数理 東北大学 大学院情報科学研究科 田中　和之 kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/ 参考資料：田中和之，ベイジアンネットと確率推論の数理，リレー連載/確率的情報処理と統計力学　---様々なアプローチとそのチュートリアル---，数理科学2005年9月号． 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 確率推論についての参考文献 J. Pearl, “Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference”, Morgan Kaufmann, 1988. 本村陽一, “ベイジアンネットソフトウェア”,人工知能学会誌, vol.17, no.5, pp.559-565, 2002. K. Tanaka, “Probabilistic Inference by means of Cluster Variation Method and Linear Response Theory”, IEICE Transactions on Information and Systems, vol.E86-D, no.7, pp.1228-1242, 2003 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） ベイジアンネットと数理科学 ベイズの公式 確率モデル グラフィカルモデル 確率推論 医療診断 故障診断 ベイジアンネット 確率伝搬法 たくさんのノードが関連しあって集まっている． 要請： 多様なデータに耐えうる推論システム 共通の数理 ゆらぎを系統的に扱える理論の必要性 統計力学の出番 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 確率の知識（１） 事象Ａの起こる確率 事象Aと事象Bの結合確率 条件付き確率と結合確率 A B 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 確率の知識（２） 結合確率分布と周辺確率分布の一般的関係 Ａ Ｂ Ｃ Ｄ 周辺化 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 確率推論に使う数学 A B C 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 簡単なベイジアンネットの例 問題 芝生がぬれているのは何故でしょうか？雨が降ったせいでしょうか？ それともスプリンクラーを動かしたせいでしょうか？ 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 簡単なベイジアンネットの例 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 簡単なベイジアンネットの例 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 簡単なベイジアンネットの例 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 簡単なベイジアンネットの例 回答：芝生がぬれているのは雨が降ったせいだと考えられます． 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） より複雑なベイジアンネット ノード数とともに指数関数的に計算量が増加 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 確率的情報処理と確率伝搬法 ベイズの公式 確率的情報処理 確率モデル 確率伝搬法 J. Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988). S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy, and information geometry, Neural Computation, vol.16, no.9, pp.1779-1810, 2004. 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 扱い易いモデル 閉路のないグラフ上の確率モデル どの枝もそれぞれで独立に和がとれる． 閉路のあるグラフ上の確率モデル それぞれで独立に和をとることが困難． 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 閉路のないグラフ上の確率モデル ノード１，２の周辺確率分布はノード１と２にそれぞれ隣接するノードから伝搬されるメッセージの積により表される． 1 2 3 4 5 6 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 閉路のないグラフ上の確率モデル ノード１から隣接ノード２に伝搬するメッセージは（ノード２を除く）ノード１の隣接ノードからノード１に伝搬されるメッセージの積により表される． 3 4 2 1 メッセージに対する固定点方程式 6 5 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） より複雑なベイジアンネット 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 周辺確率分布 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） この場合の確率伝搬法の基本方針 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 確率伝搬法の固定点方程式 確率伝搬アルゴリズム 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

Message を用いた周辺確率分布の近似表式 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

Message Passing Algorithm 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 固定点方程式と反復法 固定点方程式 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる． 反復法 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 数値実験 Belief Propagation Exact 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 数値実験 確率伝搬法 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 線形応答理論 （人為的に小さなゆらぎを与えてその応答を見ることで詳細を知ることができる．） 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 数値実験 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 確率推論のまとめ ベイジアンネットと確率伝搬法を用いた確率推論の概説 線形応答定理を用いた高次の推論システムへの発展 ベイジアンネットの最近の動向 佐藤泰介，櫻井彰人編：特集「ベイジアンネット」, 人工知能学会誌, vol.17, no.5, pp.539-565, 2002. 松嶋敏泰他著：小特集「ターボ符号・LDPC 符号と繰り返し復号の理論」，電子情報通信学会, vol.88, no.4, pp.243-265, 2004. Microsoft社，Intel社，Nokia社などが実用化への研究 http://excalibur.brc.uconn.edu/~baynet/ http://www.research.microsoft.com/research/dtg/ 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 確率的情報処理の統計力学的アプローチ トピックス： 情報統計力学，複雑情報系， 情報通信トラフィック， 確率伝搬法，画像処理，情報／符号理論， 移動体通信， アルゴリズム解析， 進化的アルゴリズム，集団学習, ベイジアンネット 主な武器： 統計科学，統計力学，情報幾何，情報理論， アルゴリズム工学，ニューロコンピューティング 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 確率的情報処理への統計力学的アプローチ モノの理とコトの技の接点 たくさんが関連 キーワードは「ベイズの公式」 データの持つゆらぎを統計科学と統計力学を武器に系統的に扱えるシステムの設計 新しい物理学の開拓 最新情報は SMAPIP ホームページhttp://www.smapip.eei.metro-u.ac.jp./ を参照 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 更に専門的な参考文献 西森秀稔, “新物理学選書/スピングラス理論と情報統計力学” 岩波書店, 1999. H. Nishimori, “Statistical Physics of Spin Glasses and Information Processing: An Introduction”, Oxford University Press, 2001. M. Opper and D. Saad (eds), “Advanced Mean Field Methods --- Theory and Practice ---”, MIT Press, 2001. 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）

物理フラクチュオマティクス論講義（２００５年６月７日，東北大学） 本講義の参考文献 西森秀稔，田中和之他著, “特集/知識情報処理の統計力学的アプローチ”, 数理科学1999年12月号. 田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号 甘利俊一，池田和司，田中和之他著, “特集/統計科学の最前線　― 新しい情報科学への技術と手法 ―”, 数理科学2004年3月号. 田中和之，田中利幸，渡辺治，堀口剛他著，``リレー連載/確率的情報処理と統計力学　---様々なアプローチとそのチュートリアル---‘’，数理科学2004年11月号から開始． 田中和之，村田昇，赤穂昭太郎他著，小特集/確率を手なづける秘伝の計算技法～古くて新しい確率・統計モデルのパラダイム～，電子情報通信学会誌2005年9月号． 物理フラクチュオマティクス論講義（２００５年６月７日，東北大学）