統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- ２００３年８月１２日前半

Presentation on theme: "統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- ２００３年８月１２日前半"— Presentation transcript:

1 統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- ２００３年８月１２日前半
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- ２００３年８月１２日前半 東北大学 大学院情報科学研究科 田中　和之 第４８回物性若手研究者夏の学校

2 ３日間のスケジュール １日目：確率的情報処理の概観と自由エネルギーの情報論的理解 ２日目：ベイズ統計・統計力学を用いた確率的画像処理
３日目：ベイズ統計・統計力学を用いた人工知能 第４８回物性若手研究者夏の学校

3 この時間の主な内容 統計力学と情報処理の不思議な共通点（モノの理とコトの技） 予備知識 第４８回物性若手研究者夏の学校

4 自由エネルギーとカルバックライブラー情報量
確率的情報処理への統計力学的アプローチ 共通の数理 ギブス分布と指数関数分布属 自由エネルギーとカルバックライブラー情報量 統計力学 情報科学 ベイズ統計 情報の抽出・加工 物性の理解・予言 第４８回物性若手研究者夏の学校

5 統計力学と情報処理の共通点 たくさん集まったものを扱っている． 関連しあって集まっているものを扱っている. 第４８回物性若手研究者夏の学校

6 モノの理とコトの技の接点 モノの理を用いてコトの技を極める． 豊富な経験から得られた方法論の情報処理 への拡張→新しい知見
コトの技を通してモノの理を鍛える． 統計力学を守備範囲の広い強固な理論体系 へとバージョンアップ． 第４８回物性若手研究者夏の学校

7 共通の数理構造 類似性：「たくさんが関連」 … キーワードは「ベイズの公式」 第４８回物性若手研究者夏の学校

8 本講義の関連分野の歴史的変遷 70年代～80年代：物性としてのスピングラス理論を中心とした統計力学の深まり． レプリカ法 西森温度の発見
モンテカルロ法の技術的発展 90年代初頭：統計力学と確率的情報処理系との構造的な類似性の指摘． 情報理論との理論的類似性 ベイズ統計と西森温度の意外な関係の指摘 90年代後半～：統計力学の応用範囲が情報科学全般へ急速に拡大（日本人の貢献大）． さて，それに対して学術面からのプロジェクトの背景を述べます． ７０年代から８０年代において磁性体を中心とする物性の研究に焦点をおいたスピングラスの研究が盛んに行われ，強力な計算技法を有する強固な体系として整備された． ９０年代初頭，スピングラス理論と情報科学の理論的構造の類似性が指摘され， スピングラス理論も新たな局面を向かえた． その後，試行錯誤が数年間続けられたが，９０年代後半から現在にかけて， 構造的類似性に基づきスピングラス理論を情報科学の様々な問題に応用する 動きが急速に拡大している．この動向は「情報統計力学」と呼ばれ 世界的にも本プロジェクトメンバーの貢献が大きい． 現在はまさに我々のグループが世界的な核を形成しようとしている 重要な局面である． 第４８回物性若手研究者夏の学校

9 確率的情報処理の統計力学的アプローチ トピックス： 情報統計力学，複雑情報系， 情報通信トラフィック，
確率伝搬法，画像処理，情報／符号理論， 移動体通信， アルゴリズム解析， 進化的アルゴリズム，集団学習, ベイジアンネット 主な武器： 統計科学，統計力学，情報幾何，情報理論， アルゴリズム工学，ニューロコンピューティング 第４８回物性若手研究者夏の学校

10 確率的画像処理 K. Tanaka, J. Phys. A, vol.35, no.37, 2002. 確率的画像処理手法
劣化画像（ガウス雑音） 確率的画像処理手法 MSE: 2137 MSE:520 ローパスフィルター ウィナーフィルター メジアンフィルター MSE:860 MSE:767 MSE:1040 第４８回物性若手研究者夏の学校

11 誤り訂正符号 符号化 伝送路 復号化 ノイズ 誤り訂正符号におけるスピングラス理論の有効性
Y. Kabashima and D. Saad, Europhysics Letters, 1999. 符号化 伝送路 復号化 ノイズ スピングラス模型に対応 復号に平均場理論を用いると高性能の復号アルゴリズムができる． 第４８回物性若手研究者夏の学校

12 CDMA復調法の性能評価 T. Tanaka, IEEE Trans. Inform. Theory, 2002
移動体通信にスピングラス理論が使える． 拡散符号系列 ノイズ 話し手の信号 復号処理 無線 通信 基地局の 受信信号 この復調方式をベイズの公式で確率モデル化するとスピングラス模型で表される． 拡散符号系列 他人の 会話 第４８回物性若手研究者夏の学校

13 統計力学的アプローチによる公開鍵暗号 ゴルフコース問題と情報の秘匿 エネルギー関数による暗号設計の基本戦略
Y. Kabashima, T. Murayama and D. Saad, Phys. Rev. Lett., 2000. ゴルフコース問題と情報の秘匿 カップが天辺にあれば何度得ってもボールはもどってくる カップが底にあればどこから打ってもボールはカップインする． 鍵 エネルギー関数による暗号設計の基本戦略 第４８回物性若手研究者夏の学校

14 そのまま多体相互作用をもつ物理モデルに対応づけられる 平均場理論・転送行列法と同じ枠組みが人工知能では確率伝搬法として独自に発展
ベイジアンネット 本村陽一, 人工知能学会誌, vol.17, no.5, 2002. そのまま多体相互作用をもつ物理モデルに対応づけられる 平均場理論・転送行列法と同じ枠組みが人工知能では確率伝搬法として独自に発展 確率推論システム 第４８回物性若手研究者夏の学校

15 情報通信トラフィック T. Horiguchi and S. Ishioka, Physica A, vol.297, 2001.
スピングラスの物理モデルがインターネットのパケット流制御に使える． スピングラスの物理モデルのある種のダイナミックスとして書き換えられる． どの経路を通ってパケットが届けられるかはその経路の距離と途中のルーターの混みぐあいによって決まる． 第４８回物性若手研究者夏の学校

16 本講義で使う確率の知識（１） 事象Ａの起こる確率 事象Aと事象Bの結合確率 条件付き確率と結合確率 A B 第４８回物性若手研究者夏の学校

17 本講義で使う確率の知識（２） 結合確率と周辺確率 第４８回物性若手研究者夏の学校

18 本講義で使う確率の知識（３） ベイズの公式 A B 第４８回物性若手研究者夏の学校

19 本講義で使う確率の知識（４） Pr{A=a} が関数 P(a) で表されるとき，P(a) を確率変数 Ａ の確率分布という．
第４８回物性若手研究者夏の学校

20 確率変数 A をスピン変数，K を外場と見ると，１個のスピンに外場のかかった物理モデルに対応する．
最も簡単な確率分布 確率変数 A をスピン変数，K を外場と見ると，１個のスピンに外場のかかった物理モデルに対応する． 第４８回物性若手研究者夏の学校

21 確率変数が互いに独立であれば様々の統計量が簡単に計算できる．
互いに独立な確率変数の結合確率分布 確率変数が互いに独立であれば様々の統計量が簡単に計算できる． 第４８回物性若手研究者夏の学校

22 確率変数 A1 とA2 をスピン変数，K を相互作用と見ると，２個のスピンの間に相互作用のある物理モデルに対応する．
簡単な相関のある結合確率分布 確率変数 A1 とA2 をスピン変数，K を相互作用と見ると，２個のスピンの間に相互作用のある物理モデルに対応する． 第４８回物性若手研究者夏の学校

23 本講義で使う数値計算の知識 固定点方程式 反復法 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる．
第４８回物性若手研究者夏の学校

24 次回の予定 自由エネルギーの情報論的理解 平均場近似の基礎の復習と情報論的解釈 第４８回物性若手研究者夏の学校