ガウシアングラフィカルモデルにおける一般化された確率伝搬法

Presentation on theme: "ガウシアングラフィカルモデルにおける一般化された確率伝搬法"— Presentation transcript:

1 ガウシアングラフィカルモデルにおける一般化された確率伝搬法
東北大学大学院情報科学研究科 田中和之 共同研究者：D. M. Titterington (University of Glasgow, UK) 参考文献 K. Tanaka, H. Shouno, M. Okada and D. M. Titterington: Accuracy of the Bethe Approximation for Hyperparameter Estimation in Probabilistic Image Processing, J. Phys. A: Math & Gen., 37, 8675 (2004). 日本物理学会（2004年9月14日)

2 ガウシアングラフィカルモデルと一般化された確率伝搬法
ガウシアングラフィカルモデルに対する確率伝搬法 Y. Weiss　and W. T. Freeman, Correctness of belief propagation in Gaussian graphical models of arbitrary topology, Neural Computation, 13, 2173 (2001). K. Tanaka, H. Shouno, M. Okada and D. M. Titterington: Accuracy of the Bethe Approximation for Hyperparameter Estimation in Probabilistic Image Processing, J. Phys. A, Math. & Gen., 37, 8675 (2004). 一般化された確率伝搬法 = クラスター変分法 ランダムスピン系におけるクラスター変分法とＴＡＰ自由エネルギー T. Horiguchi, On the Bethe approximation for the random bond Ising model, Physica A, 107, 360 (1981). ガウシアングラフィカルモデルを用いた確率的画像処理に対して一般化された確率伝搬法のアルゴルズムを実際に構成することは可能か？どの程度の精度が出せるのか？ 日本物理学会（2004年9月14日)

3 一般化された確率伝搬法 クラスター：ノードの集合 副クラスター： α=γ∩γ’
　　γ>α, γ’>α という順序関係が割り当てられる． B ：クラスターの集合であり，γ, γ’∈B ⇒γ∩γ’∉B C: B +{Bのすべての副クラスター} 例：４個のノードからなるシステム 1 2 3 4 1 2 3 4 日本物理学会（2004年9月14日)

4 一般化された確率伝搬法 ガウシアングラフィカルモデル カルバックライブラー情報量 日本物理学会（2004年9月14日)

5 一般化された確率伝搬法 試行関数 周辺確率密度関数の関数系の制限 日本物理学会（2004年9月14日)

6 一般化された確率伝搬法 m については厳密解と一致 日本物理学会（2004年9月14日)

7 一般化された確率伝搬法の B の選択 1 2 4 5 3 6 7 8 9 確率伝搬法 （ベーテ近似） 1 2 3 4 5 6 7 8 9 1
（四角近似） 日本物理学会（2004年9月14日)

8 確率的画像処理 周辺化 事後確率密度関数 周辺尤度 原画像 劣化画像 日本物理学会（2004年9月14日)
In the image restoration, we usually have to estimate the hyperparameters alpha and p. In statistics, the maximum likelihood estimation is often employed. In the standpoint of maximum likelihood estimation, the hyperparameters are determined so as to maximize the marginal likelihood defined by marginalize the joint probability for the original image and degraded image with respect to the original image. The marginal likelihood is expressed in terms of the partition functions of the a priori probabilistic model and the a posteriori probabilistic model. We can calculate these partition functions approximately by using the Bethe approximation. 周辺化 原画像 周辺尤度 劣化画像 日本物理学会（2004年9月14日)

9 画像修復の劣化過程と事前確率 劣化過程 事前確率密度関数 事後確率密度関数 日本物理学会（2004年9月14日)

10 ガウシアングラフィカルモデル を用いた画像修復
原画像 劣化画像 平均場近似 MSE: 1512 MSE: 591 確率伝搬法 一般化された確率伝搬法 厳密解 Finally, we show only the results for the gray-level image restoration. For each numerical experiments, the loopy belief propagation ca give us better results than the ones by conventional filters. MSE: 325 MSE: 315 MSE:315 日本物理学会（2004年9月14日)

11 ガウシアングラフィカルモデル を用いた画像修復
原画像 劣化画像 平均場近似 MSE: 1409 MSE: 593 確率伝搬法 一般化された確率伝搬法 厳密解 Finally, we show only the results for the gray-level image restoration. For each numerical experiments, the loopy belief propagation ca give us better results than the ones by conventional filters. MSE: 324 MSE:306 MSE:306 日本物理学会（2004年9月14日)

12 ガウシアングラフィカルモデルを用いた画像修復
MSE 平均場近似 591 27.453 確率伝搬法（ベーテ近似） 326 36.469 一般化された確率伝搬法（四角近似） 315 37.847 厳密解 37.857 MSE 平均場近似 593 24.417 確率伝搬法（ベーテ近似） 324 31.315 一般化された確率伝搬法（四角近似） 306 31.962 厳密解 31.960 Finally, we show only the results for the gray-level image restoration. For each numerical experiments, the loopy belief propagation ca give us better results than the ones by conventional filters. 日本物理学会（2004年9月14日)

13 ベーテ近似とＴＡＰ自由エネルギー ベーテ近似 ＴＡＰ自由 エネルギー 日本物理学会（2004年9月14日)

14 ガウシアングラフィカルモデルに対する一般化された確率伝搬法のアルゴリズム．
要約 ガウシアングラフィカルモデルに対する一般化された確率伝搬法のアルゴリズム． 確率的画像処理におけるハイパパラメータ推定で平均場近似から一般化された確率伝搬法へと，厳密解で得られる結果に系統的に近づいている． ベーテ近似からガウシアングラフィカルモデルにおけるＴＡＰ自由エネルギーを導出 今後の展望 結合ガウスマルコフ確率場モデルへの適用 適応型確率的画像処理への発展 日本物理学会（2004年9月14日)