電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 5 (2013年4月) 本実験DのWebpage: http://www.smapip.is.tohoku.ac.jp/~kazu/ECEI-ExperimentD/2013/ 東北大学 大学院情報科学研究科 田中 和之 kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/ April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 本講義の参考文献 田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006. 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009. 田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル」, サイエンス社，2006. 安田宗樹, 片岡駿，田中和之共著 (分担執筆): ---CVIMチュートリアルシリーズ--- コンピュータビジョン最先端ガイド3(八木康史，斎藤英雄編), 第6章．大規模確率場と確率的画像処理の深化と展開，pp.137-179, アドコム・メディア株式会社, December 2010. Kazuyuki Tanaka: Statistical-mechanical approach to image processing (Topical Review), Journal of Physics A: Mathematical and General, vol.35, no.37, pp.R81-R150, 2002. C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007. M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001. H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, ---An Introduction---, Oxford University Press, 2001. M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008. M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009. April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] Contents 序論：確率的情報処理とベイジアンネットワーク 確率の基礎知識 確率的計算技法の基礎 ---マルコフ連鎖モンテカルロ法と確率伝搬法--- 確率的画像処理とベイジアンネットワーク ---マルコフ確率場と確率伝搬法--- 確率推論とベイジアンネットワーク---グラフィカルモデルと確率伝搬法--- まとめ April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

不確実性を伴うデータに耐えうる推論システム ベイジアンネットと確率推論 ベイズの公式 確率モデル グラフィカルモデル 確率推論 医療診断 故障診断 ベイジアンネット 不確実性を伴うデータに耐えうる推論システム たくさんのノードが関連しあって集まっている． 計算困難を打破する高性能の近似アルゴリズムの必要性 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率の知識（１） 事象Ａの起こる確率 事象Aと事象Bの結合確率 条件付き確率と結合確率 A B April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率の知識（２） 事象 B の周辺確率 A B C D 周辺化 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率推論に使う数学 A B C 因果独立の仮定 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 簡単なベイジアンネットの例 問題 芝生がぬれているのは何故でしょうか？雨が降ったせいでしょうか？ それともスプリンクラーを動かしたせいでしょうか？ April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 簡単なベイジアンネットの例 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 簡単なベイジアンネットの例 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 簡単なベイジアンネットの例 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 簡単なベイジアンネットの例 回答：芝生がぬれているのは雨が降ったせいだと考えられます． April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] より複雑なベイジアンネット 重ループ 定義に基づいて厳密に計算するプログラム ノード数とともに指数関数的に計算量が増加 このプログラムでは L=10個のノードで1秒かかるとしたら L=20個で約17分，L=30個で約12日，L=40個で約34年かかる． April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率伝搬法 閉路を持たないグラフ上の確率モデルに対して厳密な結果を与える． 閉路を持つグラフ上の確率モデルでは近似アルゴリズムとなる． ８個程度のノードの簡単ではあるが閉路を含むグラフ上の確率モデルで確率伝搬法の構造を説明し，得られる近似結果と厳密な結果を比較してみる． April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

閉路を持つグラフ上の 確率モデルの結合確率 無向グラフ 有向 グラフ April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 周辺確率分布 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] この場合の確率伝搬法の基本方針 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率伝搬法の固定点方程式 確率伝搬アルゴリズム April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

Message を用いた周辺確率分布の近似表式 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

Message Passing Algorithm April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 固定点方程式と反復法 固定点方程式 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる． 反復法 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 数値実験 Belief Propagation Exact April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 数値実験 確率伝搬法 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 線形応答理論 （人為的に小さなゆらぎを与えてその応答を見ることで詳細を知ることができる．） April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 数値実験 April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率推論のまとめ ベイジアンネットと確率伝搬法を用いた確率推論の概説 線形応答定理を用いた高次の推論システムへの発展 ベイジアンネットの最近の動向 繁桝算男, 本村陽一, 植野真臣： ベイジアンネットワーク概説，培風館，2006. 本村陽一, 岩崎弘利：ベイジアンネットワーク技術，東京電機大出版，2006. 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009. Microsoft社，Intel社，Nokia社などが実用化への研究 http://excalibur.brc.uconn.edu/~baynet/ http://www.research.microsoft.com/research/dtg/ April, 2013 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]