ゆらぎが生み出す新しい情報処理技術 確率伝搬法と確率的画像処理

Presentation on theme: "ゆらぎが生み出す新しい情報処理技術 確率伝搬法と確率的画像処理"— Presentation transcript:

1 ゆらぎが生み出す新しい情報処理技術 確率伝搬法と確率的画像処理
東北大学 大学院情報科学研究科 田中　和之 参考資料：第48回物性夏の学校講義ノート 「統計力学と情報処理 --- 自由エネルギーの生み出す新しい情報処理技術---」 (田中和之著，物性研究 2004年 2 月号に掲載) 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

2 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
本講義の参考文献 西森秀稔，田中和之他著, “特集/知識情報処理の統計力学的アプローチ”, 数理科学1999年12月号. K. Tanaka: Statistical-mechanical approach to image processing (Topical Review), J. Phys. A: Math. & Gen.,vol.35, no.37, pp.R81-R150, September 2002. 田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号 甘利俊一，池田和司，田中和之他著, “特集/統計科学の最前線　― 新しい情報科学への技術と手法 ―”, 数理科学2004年3月号. 田中和之，田中利幸，渡辺治，喜多一，堀口剛他著，``連載/確率的情報処理と統計力学　---様々なアプローチとそのチュートリアル---‘’，数理科学2004年11月号から開始． 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

3 共通の数理 確率的情報処理への統計力学的アプローチ 統計力学 情報科学 ベイズ統計 ギブス分布と指数関数分布属
自由エネルギーとカルバックライブラー情報量 統計力学 情報科学 ベイズ統計 情報の抽出・加工 物性の理解・予言 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

4 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
統計力学と情報処理の共通点 たくさん集まったものを扱っている． 関連しあって集まっているものを扱っている. 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

5 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
モノの理とコトの技の接点 モノの理を用いてコトの技を極める． 豊富な経験から得られた方法論の情報処理 への拡張→新しい知見 コトの技を通してモノの理を鍛える． 統計力学を守備範囲の広い強固な理論体系 へとバージョンアップ． 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

6 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
共通の数理構造 類似性：「たくさんが関連」 … キーワードは「ベイズの公式」 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

7 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
確率の知識（１） 事象Ａの起こる確率 事象Aと事象Bの結合確率 条件付き確率と結合確率 A B 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

8 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
確率の知識（２ａ） ベイズの公式 A B 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

9 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
確率の知識（２ｂ） ベイズの公式の導出 A B 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

10 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
確率の知識（３） 結合確率分布と周辺確率分布の一般的関係 Ａ Ｂ Ｃ Ｄ 周辺化 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

11 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
確率的画像処理 K. Tanaka, J. Phys. A, vol.35, no.37, 2002. 劣化画像（ガウス雑音） 確率的画像処理手法 MSE: 2137 MSE:520 ローパスフィルター ウィナーフィルター メジアンフィルター MSE:860 MSE:767 MSE:1040 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

12 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
誤り訂正符号 誤り訂正符号におけるスピングラス理論の有効性 Y. Kabashima and D. Saad, Europhysics Letters, 1999. 符号化 伝送路 復号化 ノイズ スピングラス模型に対応 復号に平均場理論を用いると高性能の復号アルゴリズムができる． 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

13 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
誤り訂正符号 1 100 111 010 並べ替え 符号化 1 ? Noise ０ １ 1 ０ ０ １ １ ０ １ ０ ０ ０ 0 0 復号 誤り検出 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

14 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
CDMA復調法の性能評価 T. Tanaka, IEEE Trans. Inform. Theory, 2002 移動体通信にスピングラス理論が使える． 拡散符号系列 ノイズ 話し手の信号 復号処理 無線 通信 基地局の 受信信号 この復調方式をベイズの公式で確率モデル化するとスピングラス模型で表される． 拡散符号系列 他人の 会話 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

15 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
符号理論・移動体通信の参考文献 樺島祥介 “物理の世界/学習と情報の平均場理論”, 岩波書店, 2002. 樺島祥介 “コトの物理学 ---誤り訂正符号を例として---”,日本物理学会誌, vol.58, no.4, pp , 2003. 田中利幸, ``移動体通信技術とスピングラスとの意外な関係”, 日本物理学会誌, vol.56, no.9, pp , 2001. 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

16 統計力学的アプローチによる公開鍵暗号 ゴルフコース問題と情報の秘匿 エネルギー関数による暗号設計の基本戦略
Y. Kabashima, T. Murayama and D. Saad, Phys. Rev. Lett., 2000. ゴルフコース問題と情報の秘匿 カップが天辺にあれば何度得ってもボールはもどってくる カップが底にあればどこから打ってもボールはカップインする． 鍵 エネルギー関数による暗号設計の基本戦略 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

17 人工知能(詳細は次回) ベイジアンネット 本村陽一, 人工知能学会誌, vol.17, no.5, 2002. 確率推論システム
そのまま多体相互作用をもつ物理モデルに対応づけられる 平均場理論・転送行列法と同じ枠組みが人工知能では 確率伝搬法（Belief Propagation）として独自に発展 確率推論システム 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

18 情報通信トラフィック T. Horiguchi and S. Ishioka, Physica A, vol.297, 2001.
スピングラスの物理モデルがインターネットのパケット流制御に使える． スピングラスの物理モデルのある種のダイナミックスとして書き換えられる． どの経路を通ってパケットが届けられるかはその経路の距離と途中のルーターの混みぐあいによって決まる． 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

19 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
画像修復の確率モデル 雑音 通信路 原画像 劣化画像 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

20 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
画像処理と磁性体の共通の数理 たくさんのノードからなる規則格子． 近傍ノードが関連． 磁性体は「相互作用」と「外場」のかねあいで秩序がきまる． 空間フィルターは「平坦さ・滑らかさ」と「入力画像への近さ」とのかねあいで出力画像がきまる． 理論的構造の類似性 Para Critical Ferro 既存のフィルターではデータに含まれるゆらぎを扱いきれない． 相転移温度付近で ゆらぎが大きくなる． 磁性体の概念を画像処理に持ち込むことでデータのゆらぎを系統的に扱えるフィルターの設計へとつなげることが可能か？ 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

21 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
大規模情報処理としての確率的情報処理 計算困難の問題． 大規模確率モデルへの近似アルゴリズムの導入． 情報処理における統計力学への期待 平均場理論・確率伝搬法の導入 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

22 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
２値画像の劣化過程 原画像 劣化画像 雑音 通信路 劣化過程 (２元対称通信路) 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

23 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
２値画像の画像修復の事前確率分布 Ferromagnetic Paramagnetic 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

24 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
事後周辺確率最大化 結合確率分布と周辺確率分布の一般的関係 事後周辺確率最大化 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

25 確率伝搬法（Belief Propagation）のメッセージ伝搬規則
単純な固定点方程式 反復法で数値的に 解ける 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

26 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
固定点方程式と反復法 固定点方程式 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる． 反復法 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

27 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
２値画像の画像修復 数値実験（ハイパパラメータは周辺尤度最大化で決定） 原画像 劣化画像 修復画像 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

28 多値画像の画像修復 数値実験（ハイパパラメータは周辺尤度最大化で決定） 原画像 劣化画像（30%） 修復画像
物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

29 ガウシアングラフィカルモデル を用いた画像修復
原画像 劣化画像 平均場近似 確率伝搬法 Finally, we show only the results for the gray-level image restoration. For each numerical experiments, the loopy belief propagation ca give us better results than the ones by conventional filters. MSE: 1512 MSE: 591 MSE: 325 厳密解 平滑化フィルター ウィーナーフィルター メジアンフィルター MSE:315 MSE: 411 MSE: 545 MSE: 447 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

30 ガウシアングラフィカルモデル を用いた画像修復
原画像 劣化画像 平均場近似 確率伝搬法 MSE: 1409 MSE: 593 MSE: 324 Finally, we show only the results for the gray-level image restoration. For each numerical experiments, the loopy belief propagation ca give us better results than the ones by conventional filters. 厳密解 平滑化フィルター ウィーナーフィルター メジアンフィルター MSE:306 MSE: 268 MSE: 369 MSE: 259 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）

31 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）
まとめ 統計力学と情報処理の不思議な共通点（モノの理とコトの技） 磁性体と画像処理の共通の数理 データのゆらぎを系統的に扱えるフィルターの設計へ（確率伝搬法） 詳細は チュートリアル講義ノート，お試し用の基本プログラムも公開中 物理フラクチュオマティクス論講義（２００４年４月２０日，東北大学）