統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- ２００３年８月１４日後半 統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- ２００３年８月１４日後半 東北大学 大学院情報科学研究科 田中　和之 kazu@statp.is.tohoku.ac.jp http://www.statp.is.tohoku.ac.jp/~kazu/ 第48回物性若手夏の学校

この時間の主な内容 ベイジアンネットとクラスター変分法を用いた確率推論の概説 線形応答定理を用いた高次の推論システムへの発展 第48回物性若手夏の学校

前の時間のポイント ベイジアンネットは磁性体の物理モデルと対応づけられる． １次元鎖および木構造を持つベイジアンネットは確率伝搬法（＝転送行列法） で計算できる． 第48回物性若手夏の学校

より複雑なベイジアンネット 第48回物性若手夏の学校

より複雑なベイジアンネット 第48回物性若手夏の学校

周辺確率分布 信念 （Belief） 第48回物性若手夏の学校

クラスター変分法の基本方針 第48回物性若手夏の学校

クラスター変分法の固定点方程式 確率伝搬アルゴリズム 第48回物性若手夏の学校

固定点方程式と反復法 固定点方程式 反復法 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる． 第48回物性若手夏の学校

クラスター変分法 第48回物性若手夏の学校

クラスター変分法 第48回物性若手夏の学校

周辺確率分布の近似表式 第48回物性若手夏の学校

数値実験 Cluster Variation Method Exact 第48回物性若手夏の学校

線形応答理論の応用 (K. Tanaka, IEICE, vol.E86-D, no.7, pp.1228-1242, 2003.) （人為的に小さなゆらぎを与えてその応答を見ることで詳細を知ることができる．） 第48回物性若手夏の学校

数値実験 第48回物性若手夏の学校

ベイジアンネットの今後の動向 自動化が急務． パラメータのデータからの学習 EM アルゴリズム クラスター変分法の更なる拡張の試み Region Graph Method Max-Product Method 第48回物性若手夏の学校

確率推論と統計力学の言葉の対応 格子点(Site) 頂点(Node) 一体分布関数 信念(Belief) 自由エネルギー 転送行列法・ベーテ近似 頂点(Node) 信念(Belief) カルバック・ライブラー情報量 確率伝搬法・Belief Propagation・Junction Tree Algorithm 第48回物性若手夏の学校

本講義を通してのまとめ モノの理とコトの技の接点 たくさんが関連 キーワードは「ベイズの公式」 ゆらぎを巧みに扱えるシステムのデザイン 物理学のバージョンアップ 第48回物性若手夏の学校

確率推論についての参考文献 J. Pearl, “Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference”, Morgan Kaufmann, 1988. 本村陽一, “ベイジアンネットソフトウェア”,人工知能学会誌, vol.17, no.5, pp.559-565, 2002. K. Tanaka, “Probabilistic Inference by means of Cluster Variation Method and Linear Response Theory”, IEICE Transactions on Information and Systems, vol.E86-D, no.7, pp.1228-1242, 2003 第48回物性若手夏の学校

本講義で取り上げなかったトピックス (符号理論・移動体通信) の参考文献 樺島祥介 “物理の世界/学習と情報の平均場理論”, 岩波書店, 2002. 樺島祥介 “コトの物理学 ---誤り訂正符号を例として---”,日本物理学会誌, vol.58, no.4, pp.239-246, 2003. 田中利幸, ``移動体通信技術とスピングラスとの意外な関係”, 日本物理学会誌, vol.56, no.9, pp. 660-666, 2001. 第48回物性若手夏の学校

これから参入したい方のために 西森，樺島，田中他著, “特集/知識情報処理の統計力学的アプローチ”, 数理科学1999 年 12 月号. 西森秀稔, “新物理学選書/スピングラス理論と情報統計力学” 岩波書店, 1999. H. Nishimori, “Statistical Physics of Spin Glasses and Information Processing: An Introduction”, Oxford University Press, 2001. M. Opper and D. Saad (eds), “Advanced Mean Field Methods --- Theory and Practice ---”, MIT Press, 2001. 田中・樺島編, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号 第48回物性若手夏の学校

What is SMAPIP? 文部科学省 科学研究費補助金 特定領域研究 ２００２年４月－２００６年３月 http://www.smapip.eei.metro-u.ac.jp./ 文部科学省 科学研究費補助金 特定領域研究 ２００２年４月－２００６年３月 第48回物性若手夏の学校

本講義の関連イベントのお知らせ SMAPIP 講習会 “確率的アルゴリズムによる情報処理” 2003年11月10日 (ぱるるプラザ京都) 　 2003年11月10日 (ぱるるプラザ京都) 講師(敬称略): 福島孝治(東大) 渡辺　治(東工大) 喜多　一（京大） http://www.statp.is.tohoku.ac.jp/~kazu/SMAPIP/2003/tutorial/ 情報論的学習理論ワークショップ(IBIS2003) 2003 年11 月 11-12 日 (ぱるるプラザ京都) http://www.ibis2003.org/ ベイジアンネットセミナー (BN2003) 2003 年11 月 13-14 日 (ぱるるプラザ京都) http://www.bn2003.org/ 第48回物性若手夏の学校

本講義の関連イベントのお知らせ Satellite Meeting of STATPHYS 22 “Statistical Physics of Disordered Systems and Its Applications (SPDSA2004)” 2004 年 7 月 12-15 日, 湘南国際会議村, 葉山町 組織委員長：西森秀稔(東工大) http://www.stat.phys.titech.ac.jp/~nishi/SPDSA/ 第48回物性若手夏の学校