クラスター変分法と確率的情報処理 --Belief Propagation と画像処理アルゴリズム-- 東北大学 大学院情報科学研究科 田中 和之 kazu@statp.is.tohoku.ac.jp http://www.statp.is.tohoku.ac.jp/~kazu/SMAPIP-KazuKazu/
画像修復の確率モデル 雑音 通信路 原画像 劣化画像
画像修復と磁性体 沢山のノードからなる規則格子． 最近接スピン間相互作用とマルコフ確率場． 「平坦さ・滑らかさ」と「劣化画像への近さ」とのかねあいで修復画像がきまる． 「相互作用」と「外場」のかねあいで秩序がきまる． エネルギー関数・ギブス分布を用いて設計されたフィルターの設計による劣化画像からの情報の抽出と加工 エネルギー関数・ギブス分布を用いて提案されたモデルによる物性の理解と予言 理論的構造の類似性
情報処理におけるクラスター変分法への期待 大規模情報処理としての確率的情報処理 計算困難の問題． 大規模確率モデルへの近似解析法としての平均場近似の導入． 平均場近似の有効性と限界． 情報処理におけるクラスター変分法への期待 確率推論の分野では Loopy Belief Propagation との類似性から注目されている
Belief Propagation とクラスター変分法 ループのない確率モデルでは厳密 Belief Propagation 人工知能・確率推論 ループのある確率モデルでも使える ループのない確率モデル 転送行列法 転送行列法と Belief Propagation とは等価 周辺確率分布に対する漸化式 ベーテ近似，菊池近似 クラスター変分法 ループのある確率モデル
クラスター変分法（ＣＶＭ）を用いた画像処理アルゴリズムのポイント クラスター変分法による反復計算アルゴリズムとしてのフィルターの設計（情報）． モデルパラメータの推定（統計科学）． 基本的な確率モデルの統計力学的立場からの検証（物理）．
２値画像の画像修復の劣化過程と事前確率 劣化過程 (２元対称通信路) 事前確率
２値画像の画像修復の事前確率分布
ベイズの公式と２値画像修復の事後確率 事後周辺確率最大化
２値画像修復における事後確率
カルバック・ライブラー情報量
カルバック・ライブラー情報量
２値画像の画像修復 クラスター変分法の基本方針
クラスター変分法による周辺確率分布の近似表式
クラスター変分法の各画素の周辺確率分布
クラスター変分法の最近接画素対の周辺確率分布
クラスター変分法の確率伝搬アルゴリズム
事前分布から生成された画像による数値実験 ２値画像の画像修復 事前分布から生成された画像による数値実験 原画像 劣化画像 (p=0.2) 修復画像
２値画像の画像修復 数値実験 原画像 劣化画像 修復画像
２値画像の画像修復 ハイパパラメータ α, βの自動推定 周辺尤度最大化
２値画像の画像修復 事前分布から生成された画像による数値実験 （ハイパパラメータα,βは周辺尤度最大化で決定） 原画像 劣化画像 (p=0.2) 修復画像
２値画像の画像修復 数値実験（ハイパパラメータα,βは周辺尤度最大化で決定） クラスター変分法 原画像 劣化画像 平均場近似
Ｑ値画像の画像修復の劣化過程 劣化過程
Ｑ値画像の画像修復の事前確率 Q-state Ising Model Q-state Potts Model クロネッカーのデルタ
数値実験（ハイパパラメータα,βは周辺尤度最大化で決定） ４値画像の画像修復 数値実験（ハイパパラメータα,βは周辺尤度最大化で決定） 劣化画像（3p=0.3） 4-state Potts Model 4-state Ising Model 原画像
まとめ ベイズの公式を用いた確率場モデル 確率場モデルとクラスター変分法 ２値画像の画像修復への応用 Ｑ値画像の画像修復への応用
より実用的話し エッジ検出 領域分割 テクスチャー解析 画像圧縮とその復元 動画像における移動体検出 カラー画像
より理論的な話 ハイパパラメータの自動推定 （主として最尤推定とＥＭアルゴリズム） スピングラス理論を用いた統計的典型性能評価 レプリカ法 （主として最尤推定とＥＭアルゴリズム） スピングラス理論を用いた統計的典型性能評価 レプリカ法 相関関数の厳密不等式 ライン場の統計力学的検討 Belief Propagation の立場からのＣＶＭの再定式化 クラスター変分法の情報幾何 多体問題としての量子情報を用いた画像処理
何が本質か？ 一口に確率的画像処理システムは確率場モデルの相転移が重要というが，どのような相転移がどのように画像処理に機能しているかについての具体的なことは全然とは言わないまでも論理的には説明できるほどにはわかっていない．これまで統計力学で扱われてきた確率場モデルの範囲で説明できるのかどうかも謎のままである． 物理学における新分野開拓 新しい情報処理へのブレークスルー