はじめに： 平均場理論を用いた情報処理の最近の動向

Presentation on theme: "はじめに： 平均場理論を用いた情報処理の最近の動向"— Presentation transcript:

1 はじめに： 平均場理論を用いた情報処理の最近の動向
領域１１シンポジューム： 確率的情報処理の生み出す平均場理論の新展開 はじめに： 平均場理論を用いた情報処理の最近の動向 東北大学 大学院情報科学研究科 田中　和之 参考文献 田中和之，田中利幸，樺島祥介：確率的情報処理 ---確率モデルと統計力学を用いた情報処理の新展開--- 数理科学２００４年１１月号 日本物理学会 （2004年9月12日）

2 統計力学と確率的情報処理の接点 情報処理の確率モデル と古典スピン系との 数理構造の類似性 スピングラス理論 がシステムの 統計的性能評価
に有効 平均場理論が アルゴリズム設計 に有効 日本物理学会 （2004年9月12日）

3 確率的情報処理における平均場理論 要請２： 多様なデータに耐えうる推論システム ゆらぎを系統的に扱える理論の必要性 平均場理論の出番
ベイズの公式 確率モデル グラフィカルモデル 確率的情報処理 要請１：アルゴリズム設計の体系的方法論 物理モデルとの 共通の数理 要請２： 多様なデータに耐えうる推論システム ゆらぎを系統的に扱える理論の必要性 平均場理論の出番 日本物理学会 （2004年9月12日）

4 画像処理 確率的画像処理手法 確率的画像修復 → 空間的非一様外場と最近接格子点対の相互作用をもつ古典スピン系 劣化画像（ガウス雑音）
確率的画像修復　→ 空間的非一様外場と最近接格子点対の相互作用をもつ古典スピン系 劣化画像（ガウス雑音） 確率的画像処理手法 日本物理学会 （2004年9月12日）

5 そのまま多体相互作用をもつ物理モデルに対応づけられる 平均場理論・転送行列法と同じ枠組みが人工知能では確率伝搬法として独自に発展
確率推論システム 日本物理学会 （2004年9月12日）

6 統計力学の歴史は常にシステムサイズ無限大との戦いの歴史である．
平均場理論が何故情報処理に有効？ 多くの情報処理は大規模確率モデル 計算困難の問題 近似で良いから，現実的計算時間で 近い結果が得られれば満足． 統計力学の歴史は常にシステムサイズ無限大との戦いの歴史である． 豊富な経験 日本物理学会 （2004年9月12日）

7 本シンポジュームの 関連分野の歴史的変遷 50年代～80年代：物性の解明としての平均場理論の深まり．
有効場理論（ベーテ近似，クラスター変分法）の発展 TAP方程式をはじめとするスピングラス理論の深まり コヒーレント異常法の発見に伴う 新しい平均場理論（超有効場理論）の開発 90年代初頭：統計力学と確率的情報処理系との構造的な類似性の指摘． 情報幾何の立場からの平均場理論の解釈 90年代後半～：平均場理論の応用範囲が情報科学全般へ急速に拡大（日本人の貢献大）． 画像処理，誤り訂正符号，移動体通信， 学習理論，パケット流のルーティング さて，それに対して学術面からのプロジェクトの背景を述べます． ７０年代から８０年代において磁性体を中心とする物性の研究に焦点をおいたスピングラスの研究が盛んに行われ，強力な計算技法を有する強固な体系として整備された． ９０年代初頭，スピングラス理論と情報科学の理論的構造の類似性が指摘され， スピングラス理論も新たな局面を向かえた． その後，試行錯誤が数年間続けられたが，９０年代後半から現在にかけて， 構造的類似性に基づきスピングラス理論を情報科学の様々な問題に応用する 動きが急速に拡大している．この動向は「情報統計力学」と呼ばれ 世界的にも本プロジェクトメンバーの貢献が大きい． 現在はまさに我々のグループが世界的な核を形成しようとしている 重要な局面である． 日本物理学会 （2004年9月12日）

8 進化する平均場理論 様々の情報処理への平均場理論の応用 確率伝搬法（確率推論の手法として発展したアルゴリズム）とベーテ近似の等価性
M. Opper and D. Saad (eds), Advanced Mean Field Methods ---Theory and　Practice, MIT Press, 2001. 確率伝搬法（確率推論の手法として発展したアルゴリズム）とベーテ近似の等価性 Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding corrupted messages, Europhys. Lett. 44, 668 (1998). クラスター変分法による確率伝搬法の一般化の提案 J. S. Yedidia, W. T. Freeman and Y. Weiss, Generalized belief propagation, Advances in Neural Information Processing Systems, 13, 689 (2001, MIT Press). 日本物理学会 （2004年9月12日）

9 確率的情報処理の生み出す平均場理論の新展開
講演者（敬称略） 相転移と情報伝達 ――高度に一般化された平均場方法―― 東京理科大物理　鈴木増雄 平均場近似と情報幾何学 ――確率推論を中心に―― 理研脳科学総合研究センター　甘利俊一 情報処理における平均場近似の有用性 東北大（院）情報科学　堀口剛 日本物理学会 （2004年9月12日）