正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻　渡辺研究室　 　　西山　悠，　渡辺澄夫.

Presentation on theme: "正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻　渡辺研究室　 　　西山　悠，　渡辺澄夫."— Presentation transcript:

1 正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻　渡辺研究室　 　　西山　悠，　渡辺澄夫

2 背景 確率伝搬法(Belief Propagation;BP) Sum Product Algorithm 指数オーダ計算
(高次元)確率分布 周辺確率 例． 通り! 効率的な計算 直接 確率伝搬法(Belief Propagation;BP) Sum Product Algorithm

3 確率伝搬法の応用研究 (i) ベイジアンネットを用いた確率的推論 (ii) 誤り訂正符号 (Turbo, LDPC 符号)
noise decode 000101 000111 000101 (iii) CDMA (符号分割多元接続) (iv) 確率的画像処理 復元アルゴリズム 劣化 画像 復元 画像

4 確率伝搬法の問題点 ・グラフがループを持たないとき(BP) BPは，正確な周辺確率を計算
・グラフがループを持つとき(Loopy BP;LBP) LBPは，近似的に周辺確率を計算 or LBPの解が収束しない場合もある． Ex. ・T. Heskes, ”On the Uniqueness of Loopy Belief Propagation Fixed Points”, Neural Computation 16(11), , 2004. ・Y. Weiss,”Correctness of belief propagation in graphical models with arbitrary topology”, Neural Computation 13(10), , 2001.

5 統計力学との接点 LBP解 = ベーテ近似解 ベーテ自由エネルギー(汎関数) LBPによって計算される 近似周辺確率(LBP解) 周辺確率

6 CCCP(A.L.Yuille, 2002) ベーテ自由エネルギーをConcave関数，Convex関数に分けて，関数の間の更新則を与え，極値に収束させる反復アルゴリズム concave convex + ベーテ自由エネルギー = 更新の様子 更新則 concave convex ー

7 本発表の位置づけ ベーテ自由エネルギーの最小化 菊池自由エネルギーの最小化 本発表 (Loopy) Belief Propagation
正規分布 ・LBPの近似精度 ・LBP収束条件 本発表 ベーテ自由エネルギーの最小化 (Loopy) Belief Propagation 一般化 CCCP (3月NC研，玉川大学) (3月日本物理学会，年次大会) Extended CCCP ・・・ 菊池自由エネルギーの最小化 Generalized BP (GBP) CCCP Extended CCCP ・・・

8 目的 ループの入った正規分布の場合に，ベーテ自由エネルギー の極値を与え，ベーテ近似の近似精度を解析する． ・正規分布 の精度行列 が，
(i)1重ループを表すとき ベーテ近似解析解(LBP解析解) LBPが収束するための必要条件 (ii)任意のグラフで相関が小さいとき ベーテ近似解析解の展開式

9 LBPアルゴリズム メッセージ メッセージの固定点 正規分布 1重ループ LBP解

10 (i)1重ループ 定理1(メッセージの固定点) 定理2(LBP解) 真の周辺分布 ＊ベーテ近似の近似精度

11 LBP収束条件(1重ループ) 収束必要条件(1重ループ) 1重ル－プのLBPが収束するためには，精度行列 について， が成り立つことが必要．
例． のとき ＊十分条件にもなっていることを特殊な場合で証明（予稿集）

12 数値実験(1重ループ) LBP数値解 LBP数値解 真値 LBP解析解

13 (ii)任意グラフ(相関が小さい) 定理3(LBP解) 補正 真の周辺分布 多重ループ ＊相関が小さいときの 　　ベーテ近似の近似精度

14 の性質 木構造，1重ループ 一様全結合 LBP数値解の補正 周辺密度関数 の精度 真値 LBP解析解の展開式 LBP数値解

15 まとめ ループの入った正規分布の場合にベーテ近似(LBP)の近似精度を理論的に明らかにした． (i)1重ループのとき
ベーテ近似解析解(LBP解析解)を導出し，LBPの収束条件，近似精度を決定している量を解析的に明らかにした． (ii)任意のグラフ構造のとき 相関が小さいときの，LBPの近似精度を決定している量を 解析的に明らかにした．

16 今後の展開 ベーテ自由エネルギーの最小化 菊池自由エネルギーの最小化 本発表 (Loopy) Belief Propagation 一般化
正規分布 ・LBPの近似精度 ・LBP収束条件 本発表 ベーテ自由エネルギーの最小化 (Loopy) Belief Propagation 一般化 CCCP (3月NC研，玉川大学) (3月日本物理学会，年次大会) Extended CCCP ・・・ 菊池自由エネルギーの最小化 正規分布 ・GBPの近似精度？ ・GBP収束条件？ Generalized BP (GBP) CCCP Extended CCCP ・・・

17 参考文献 確率的画像処理 ・ 田中和之，確率モデルによる画像処理技術入門，森北出版，2006.
・　田中和之，確率モデルによる画像処理技術入門，森北出版，2006. ・　田中和之， ガウシアングラフィカルモデルに基づく確率的情報処理 　　における一般化された信念伝搬法，　電子情報通信学会誌 D-II, Vol. J88-D-II, 　　No. 12, pp , 2005. ・　K.Tanaka, H. Shouno, and M. Okada. Accuracy of the bethe approximation 　　For hyperparameter estimation in probabilistic image processing. J. Phys. 　　A, Math. Gen., Vol. 37, No. 36, pp , 2004