科研費特定領域研究 「確率的情報処理への統計力学的アプローチ」平成１６年度第２回公開シンポジューム “確率推論の数理”

Presentation on theme: "科研費特定領域研究 「確率的情報処理への統計力学的アプローチ」平成１６年度第２回公開シンポジューム “確率推論の数理”"— Presentation transcript:

1 科研費特定領域研究 「確率的情報処理への統計力学的アプローチ」平成１６年度第２回公開シンポジューム “確率推論の数理”
2004年12月6日-8日 東北大学 青葉記念会館 協賛 電子情報通信学会，日本神経回路学会 計測自動制御学会，情報処理学会 日本物理学会，システム制御情報学会 人工知能学会 SMAPIP-MSI2004 （2004年12月）

2 確率推論と情報処理 確率推論への期待 通信基盤の整備に伴う情報量の爆発的増大． 生命情報科学など大規模な情報処理を必要とする新分野の出現．
避けて通れない計算困難の問題 近似アルゴリズムとしての確率伝搬法・クラスター変分法への期待 SMAPIP-MSI2004 （2004年12月）

3 確率的情報処理と確率伝搬法 ベイズの公式 確率モデル 確率的情報処理 確率伝搬法 J. Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988). SMAPIP-MSI2004 （2004年12月）

4 統計力学と確率的情報処理の接点における歴史的変遷
50年代～80年代：物性の解明としての平均場理論の深まり． 有効場理論（ベーテ近似，クラスター変分法）の発展 TAP方程式をはじめとするスピングラス理論の深まり 90年代初頭：統計力学と確率的情報処理系との構造的な類似性の指摘． スピングラス理論とベイズ統計との類似性の認識 　　（学習理論，誤り訂正符号，画像処理） 90年代後半～：平均場理論の応用範囲が情報科学全般へ急速に拡大（日本人の貢献大）． 画像処理，誤り訂正符号，移動体通信， 学習理論，パケット流のルーティング， さて，それに対して学術面からのプロジェクトの背景を述べます． ７０年代から８０年代において磁性体を中心とする物性の研究に焦点をおいたスピングラスの研究が盛んに行われ，強力な計算技法を有する強固な体系として整備された． ９０年代初頭，スピングラス理論と情報科学の理論的構造の類似性が指摘され， スピングラス理論も新たな局面を向かえた． その後，試行錯誤が数年間続けられたが，９０年代後半から現在にかけて， 構造的類似性に基づきスピングラス理論を情報科学の様々な問題に応用する 動きが急速に拡大している．この動向は「情報統計力学」と呼ばれ 世界的にも本プロジェクトメンバーの貢献が大きい． 現在はまさに我々のグループが世界的な核を形成しようとしている 重要な局面である． 確率伝搬法と平均場理論・クラスター変分法の類似性の発見 SMAPIP-MSI2004 （2004年12月）

5 進化する確率伝搬法 様々の情報処理への平均場理論の応用
M. Opper and D. Saad (eds), Advanced Mean Field Methods ---Theory and　Practice, MIT Press, 2001. 確率伝搬法とベーテ近似の等価性 Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding corrupted messages, Europhys. Lett. 44, 668 (1998). クラスター変分法による確率伝搬法の一般化の提案 J. S. Yedidia, W. T. Freeman and Y. Weiss, Generalized belief propagation, Advances in Neural Information Processing Systems, 13, 689 (2001, MIT Press). 情報幾何の立場からの確率伝搬法の再解釈 S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy, and information geometry, Neural Computation, Vol.16, No.9, pp , 2004. SMAPIP-MSI2004 （2004年12月）

6 確率伝搬法の応用 ベイジアンネットシステムの開発 誤り訂正符号における低密度パリティ検査（LDPC）符号 移動体通信のCDMA復調方式
確率的画像処理 充足可能性問題（SAT）　等々 SMAPIP-MSI2004 （2004年12月）

7 13 and 14 December, 2002,Whistler Organizers: Speakers:
NIPS*2002 post conference workshop on Propagation Algorithms on Graphs with Cycles: Theory and Applications 13 and 14 December, 2002,Whistler Organizers: S. Ikeda (Kyushu Institute of Technology) T. Tanaka (Tokyo Metropolitan University) M. Welling (University of Toronto) Speakers: W. T. Freeman, T. Heskes, S. Ikeda, Y. Kabashima, H. J. Kappen, L. E. Ortiz, R. Palanki, I. Rish, E. Sudderth, K. Tanaka, T. Tanaka, S. Tatikonda, S. Thrun, M. J. Wainwright, Max Welling, O. Winther, J. Yedidia, A. L. Yuille SMAPIP-MSI2004 （2004年12月）

8 SMAPIP公開シンポジューム 「確率推論の数理」
講演者（敬称略） 堀口剛 (東北大)，椎野正寿 (東工大) 渋谷智治 (メディア教育開発センター) 尾関智子 (理研)，中村一尊 (慶應大) 多賀伸幸 (東工大) ，井上真郷 (東工大) 村山立人 (NTTコミュニケーション科学基礎研究所) 樺島祥介 (東工大) ，福島孝治 (東大) 田中利幸 (都立大) ，池田思朗 (統数研) 岡田真人 (東大) ，本村陽一（産総研） 田中和之 (東北大) SMAPIP-MSI2004 （2004年12月）