統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- ２００３年８月１４日前半 統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- ２００３年８月１４日前半 東北大学 大学院情報科学研究科 田中　和之 kazu@statp.is.tohoku.ac.jp http://www.statp.is.tohoku.ac.jp/~kazu/ 第48回物性若手夏の学校

３日間のスケジュール １日目：確率的情報処理の概観と自由エネルギーの情報論的理解 ２日目：ベイズ統計・統計力学を用いた確率的画像処理 ３日目：ベイズ統計・統計力学を用いた人工知能 第48回物性若手夏の学校

この時間の主な内容 簡単なベイジアンネットの解説 ベイジアンネットと磁性体の物理モデルの意外な関係 確率伝搬法と転送行列法の意外な関係 第48回物性若手夏の学校

ベイジアンネットと統計力学 たくさんのノードが関連しあって集まっている． 要請： 多様なデータに耐えうる推論システム ベイズの公式 確率モデル グラフィカルモデル 確率推論 医療診断 故障診断 ベイジアンネット 確率伝搬法 たくさんのノードが関連しあって集まっている． 要請： 多様なデータに耐えうる推論システム 共通の数理 ゆらぎを系統的に扱える理論の必要性 統計力学の出番 第48回物性若手夏の学校

確率推論と統計力学の言葉の対応 格子点(Site) 頂点(Node) 一体分布関数 信念(Belief) 転送行列法・ベーテ近似 確率伝搬法，Belief Propagation，Junction Tree Algorithm 格子点(Site) 一体分布関数 転送行列法・ベーテ近似 第48回物性若手夏の学校

確率推論に使う数学 A B C 第48回物性若手夏の学校

簡単なベイジアンネットの例 問題 芝生がぬれているのは何故でしょうか？ 雨が降ったせいでしょうか？ それともスプリンクラーを動かしたせいでしょうか？ 第48回物性若手夏の学校

簡単なベイジアンネットの例 第48回物性若手夏の学校

簡単なベイジアンネットの例 第48回物性若手夏の学校

簡単なベイジアンネットの例 回答：芝生がぬれているのは雨が降ったせいだと考えられます． 第48回物性若手夏の学校

ベイジアンネットと物理モデル（I） ベイジアンネットで扱われるグラフィカルモデルは多体力を持つ磁性体の物理モデルに対応づけられる． 一言でいえば公式 z=exp(ln z) を使うということ． 具体的には を満たすように係数を決めると確かめられる． ベイジアンネットで扱われるグラフィカルモデルは多体力を持つ磁性体の物理モデルに対応づけられる． 第48回物性若手夏の学校

ベイジアンネットと物理モデル（ＩＩ） ベイジアンネットで扱われるグラフィカルモデルは多体力を持つ磁性体の物理モデルに対応づけられる． 第48回物性若手夏の学校

ベイジアンネットと物理モデル（ＩＩＩ） ベイジアンネットで扱われるグラフィカルモデルは多体力を持つ磁性体の物理モデルに対応づけられる． 第48回物性若手夏の学校

ベイジアンネットと物理モデル（ＩＶ） ベイジアンネットで扱われるグラフィカルモデルは多体力を持つ磁性体の物理モデルに対応づけられる． 第48回物性若手夏の学校

ベイジアンネットと物理モデル（Ｖ） 枝分かれのないグラフィカルモデルのベイジアンネット １次元の磁性体の物理モデル ノード数が多くなっても転送行列法で数値的に厳密に計算できる． 第48回物性若手夏の学校

１次元鎖のベイジアンネットを物理の演習問題にすると？ 問題：１次元イジング模型の磁化（スピン変数 sm の期待値）および相関関数( sm sn の期待値）を求めよ． こりゃ院試の統計力学の問題だ!! 第48回物性若手夏の学校

転送行列法＝確率伝搬法（I） 1次元鎖 第48回物性若手夏の学校

転送行列法＝確率伝搬法（II） パスはひとつ 漸化式 第48回物性若手夏の学校

転送行列法＝確率伝搬法（III） 1次元鎖 第48回物性若手夏の学校

転送行列法＝確率伝搬法（IV） 漸化式 第48回物性若手夏の学校

ベイジアンネットと物理モデル（ＶＩ） 閉路のないグラフィカルモデルのベイジアンネット ベーテ格子上の磁性体の物理モデル 第48回物性若手夏の学校

転送行列法＝確率伝搬法（V） 閉路が無いことが重要!! 同じノードは２度通らない 第48回物性若手夏の学校

扱い易いモデルと計算困難なモデル 扱い易いグラフィカルモデル どの枝もそれぞれで独立に和がとれる． 計算困難なグラフィカルモデル それぞれで独立に和をとることが困難． 第48回物性若手夏の学校

ベイジアンネットの既存の計算手法 閉路のないグラフィカルモデルのベイジアンネット 確率伝搬法（Belief Propagation） J. Pearl, “Probabilistic reasoning in intelligent systems: networks of plausible inference”, Morgan Kaufmann, 1988. ＝ 転送行列法 木構造を持つ磁性体の物理モデル T. Morita, “The Ising model with an interaction of finite range on the Cayley tree”, Physica A, vol.83, pp.411-418, 1976. 第48回物性若手夏の学校

ベイジアンネットと物理モデル（ＶＩ） 閉路のあるグラフィカルモデルのベイジアンネット 不規則なグラフ構造をもつ格子上の磁性体の物理モデル 転送行列法が常に厳密な結果を与えるとは限らなくなる． 平均場近似・ベーテ近似による近似アルゴリズム 第48回物性若手夏の学校

転送行列法とベーテ近似 木構造を持つグラフィカルモデルではベーテ近似は転送行列法と等価である． 閉路を持つグラフィカルモデル上のベイジアンネットでの確率伝搬法はベーテ近似またはその拡張版であるクラスター変分法に等価である（Yedidia, Weiss and Freeman, NIPS2000）． ベーテ近似 転送行列法 ||（木構造） 確率伝搬法 クラスター変分法 （菊池近似） 一般化された確率伝搬法 第48回物性若手夏の学校

次回の予定 ベイジアンネットと確率伝搬法を用いた確率推論の概説 線形応答定理を用いた高次の推論システムへの発展 ３日間の講義のまとめ 第48回物性若手夏の学校