確率的情報処理の最近の動向 東北大学 大学院情報科学研究科 田中 和之

Presentation on theme: "確率的情報処理の最近の動向 東北大学 大学院情報科学研究科 田中 和之"— Presentation transcript:

1 確率的情報処理の最近の動向 東北大学 大学院情報科学研究科 田中 和之 kazu@statp.is.tohoku.ac.jp
田中　和之 参考資料：田中和之, 樺島祥介, 田中利幸: 確率的情報処理 ---確率モデルと統計力学を用いた情報処理の新展開, リレー連載/確率的情報処理と統計力学　---様々なアプローチとそのチュートリアル---，数理科学2004年11月号, pp 2005年1月24日，KDDI研究所

2 What is SMAPIP? 文部科学省 科学研究費補助金 特定領域研究 「確率的情報処理への統計力学的アプローチ」
文部科学省 科学研究費補助金 特定領域研究 「確率的情報処理への統計力学的アプローチ」 ２００２年４月－２００６年３月 2005年1月24日，KDDI研究所

3 本講演の参考文献 西森秀稔，田中和之他著, “特集/知識情報処理の統計力学的アプローチ”, 数理科学1999年12月号.
K. Tanaka: Statistical-mechanical approach to image processing (Topical Review), J. Phys. A: Math. & Gen.,vol.35, no.37, pp.R81-R150, September 2002. 田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号 甘利俊一，池田和司，田中和之他著, “特集/統計科学の最前線　― 新しい情報科学への技術と手法 ―”, 数理科学2004年3月号. 田中和之，田中利幸，渡辺治，喜多一，堀口剛他著，``連載/確率的情報処理と統計力学　---様々なアプローチとそのチュートリアル---‘’，数理科学2004年11月号から開始． 樺島利幸，田中利幸編，”小特集/確率を手なづける秘伝の計算技法～古くて新しい確率・統計モデルのパラダイム～”，電子情報通信学会誌2005年9月号． 2005年1月24日，KDDI研究所

4 確率的画像処理 確率的画像処理手法 K. Tanaka, J. Phys. A, vol.35, no.37, 2002.
劣化画像（ガウス雑音） 確率的画像処理手法 MSE: 2137 MSE:520 平滑化フィルター ウィナーフィルター メジアンフィルター MSE:860 MSE:767 MSE:1040 2005年1月24日，KDDI研究所

5 誤り訂正符号 Y. Kabashima and D. Saad, J. Phys. A, vol.37, no.6, 2004. 符号化 伝送路 復号化 ノイズ 確率伝搬法により高性能の復号アルゴリズムができる． 2005年1月24日，KDDI研究所

6 CDMA復調法の性能評価 移動体通信と統計力学の意外な関係． ノイズ
T. Tanaka: IEEE Trans. Inform. Theory, vol.48, no.19, 2002. Y. Kabashima: J. Phys. A, vol.36, no.43, 2003. 移動体通信と統計力学の意外な関係． 拡散符号系列 ノイズ 話し手の信号 復号処理 無線 通信 基地局の 受信信号 この復調方式をベイズの公式で確率モデル化すると統計力学でよく知られた確率モデルで表される． 拡散符号系列 他人の 会話 2005年1月24日，KDDI研究所

7 統計力学的アプローチによる公開鍵暗号 ゴルフコース問題と情報の秘匿 エネルギー関数による暗号設計の基本戦略
Y. Kabashima, T. Murayama and D. Saad, Phys. Rev. Lett., 2000. ゴルフコース問題と情報の秘匿 カップが天辺にあれば何度得ってもボールはもどってくる カップが底にあればどこから打ってもボールはカップインする． 鍵 エネルギー関数による暗号設計の基本戦略 2005年1月24日，KDDI研究所

8 確率伝搬法（Belief Propagation）が実現のポイント
人工知能 ベイジアンネット 本村陽一, 人工知能学会誌, vol.17, no.5, 2002. 無向グラフ上の確率モデル （グラフィカルモデル） 確率伝搬法（Belief Propagation）が実現のポイント 確率推論システム 2005年1月24日，KDDI研究所

9 どの経路を通ってパケットが届けられるかはその経路の距離と途中のルーターの混みぐあいによって決まる．
情報通信トラフィック T. Horiguchi and S. Ishioka: Physica A, vol.297, pp , 2001. T. Horiguchi, H. Takahashi, K. Hayashi and C. Yamaguchi: Physica A, vol.339, pp , 2004. 統計力学でよく知られた確率モデルがインターネットのパケット流制御に使える． 物理モデルのある種のダイナミックスとして書き換えられる． どの経路を通ってパケットが届けられるかはその経路の距離と途中のルーターの混みぐあいによって決まる． 2005年1月24日，KDDI研究所

10 厳密に計算するのは一部の特殊な例を除いて難しい．
ポイントは何か 2N 通りの和が計算できるか？ 厳密に計算するのは一部の特殊な例を除いて難しい． 一部の特殊な例とは何か？ 一部の特殊な例に適用できるアルゴリズムを一般の場合に近似アルゴリズムとして適用できるか． →動くか？精度はどの程度か？ 2005年1月24日，KDDI研究所

11 扱い易いモデル 閉路のないグラフ上の確率モデル どの枝もそれぞれで独立に和がとれる． 閉路のあるグラフ上の確率モデル
それぞれで独立に和をとることが困難． 2005年1月24日，KDDI研究所

12 ノード１，２の周辺確率分布はノード１と２にそれぞれ隣接するノードから伝搬されるメッセージの積により表される．
閉路のないグラフ上の確率モデル ノード１，２の周辺確率分布はノード１と２にそれぞれ隣接するノードから伝搬されるメッセージの積により表される． 1 2 3 4 5 6 2005年1月24日，KDDI研究所

13 閉路のないグラフ上の確率モデル メッセージに対する固定点方程式
ノード１から隣接ノード２に伝搬するメッセージは（ノード２を除く）ノード１の隣接ノードからノード１に伝搬されるメッセージの積により表される． 3 4 2 1 メッセージに対する固定点方程式 6 5 2005年1月24日，KDDI研究所

14 確率的情報処理と確率伝搬法 確率的情報処理 確率モデル
ベイズの公式 確率的情報処理 確率モデル 確率伝搬法 J. Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988). S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy, and information geometry, Neural Computation, vol.16, no.9, pp , 2004. 2005年1月24日，KDDI研究所

15 画像修復の確率モデル 雑音 通信路 原画像 劣化画像 2005年1月24日，KDDI研究所

16 画像修復の事前確率分布 ２値画像の例 Ferromagnetic Paramagnetic 2005年1月24日，KDDI研究所

17 ベイズ統計・最尤推定と画像処理 計算困難 事前確率 原画像 加法的白色ガウス雑音 劣化画像 事後確率 周辺尤度 画素
2005年1月24日，KDDI研究所

18 確率伝搬法（Belief Propagation）のメッセージ伝搬規則
メッセージに対する固定点方程式 メッセージが計算できれば統計量が得られる 2005年1月24日，KDDI研究所

19 固定点方程式と反復法 固定点方程式 反復法 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる．
2005年1月24日，KDDI研究所

20 Image Restoration by Gaussian Graphical Model
MSE LBP 327 36.302 GBP 315 37.909 Finally, we show only the results for the gray-level image restoration. For each numerical experiments, the loopy belief propagation ca give us better results than the ones by conventional filters. MSE LBP 260 33.998 GBP 236 34.971 2005年1月24日，KDDI研究所

21 Image Restoration by Gaussian Graphical Model and Conventional Filters
Degraded Image MSE LBP 327 Lowpass Filter (3x3) 388 (5x5) 413 GBP 315 Median Filter 486 445 Wiener Filter 864 548 Original Image Finally, we show only the results for the gray-level image restoration. For each numerical experiments, the loopy belief propagation ca give us better results than the ones by conventional filters. LBP GBP (3x3) Lowpass (5x5) Median (5x5) Wiener 2005年1月24日，KDDI研究所

22 Image Restoration by Gaussian Graphical Model and Conventional Filters
Degraded Image MSE LBP 260 Lowpass Filter (3x3) 241 (5x5) 224 GBP 236 Median Filter 331 244 Wiener Filter 703 372 Original Image Finally, we show only the results for the gray-level image restoration. For each numerical experiments, the loopy belief propagation ca give us better results than the ones by conventional filters. LBP GBP (5x5) Lowpass (5x5) Median (5x5) Wiener 2005年1月24日，KDDI研究所

23 Gray-Level Image Restoration (Spike Noise)
Original Image Degraded Image Belief Propagation Lowpass Filter Median Filter Finally, we show only the results for the gray-level image restoration. For each numerical experiments, the loopy belief propagation ca give us better results than the ones by conventional filters. MSE: 2075 MSE: 244 MSE: 217 MSE:135 MSE: 3469 MSE: 371 MSE: 523 MSE: 395 2005年1月24日，KDDI研究所

24 まとめ 確率的情報処理の動向 確率伝搬法と画像処理 References
K. Tanaka and J. Inoue: IEICE Trans. on Information and Systems, Vol.E85-D, No.3, pp , 2002. K. Tanaka, J. Inoue and D. M. Titterington: J. Phys. A, Vol. 36, No. 43, pp , 2003. 田中和之: 計測と制御, Vol.42, No.8, pp , 2003. K. Tanaka, H. Shouno, M. Okada and D. M. Titterington: J. Phys. A, Vol.37, No.36, pp , 2004. 田中和之: 数理科学2004年3月号, pp 2005年1月24日，KDDI研究所