領域ベースの隠れ変数を用いた決定論的画像領域分割

Presentation on theme: "領域ベースの隠れ変数を用いた決定論的画像領域分割"— Presentation transcript:

1 領域ベースの隠れ変数を用いた決定論的画像領域分割
P039 領域ベースの隠れ変数を用いた決定論的画像領域分割 三好 誠司　　　　岡田 真人 　関西大 　 　 東大，理研

2 あらまし マルコフ確率場（MRF）とベイズ推定に基づく画像処理においてエッジを保存・再現するためには隠れ変数の導入が効果的である．領域ベースのポッツスピン型隠れ変数を導入したうえで，原画像も隠れ変数として，変分推論法により画像修復と領域分割を行うアルゴリズムを導出する．ガウス雑音が重畳した人工画像を用いた実験により，このアルゴリズムが有効であり頑健であることを明らかにする．

3 背 景 １ 多数の変数とその変数間の無向性相互作用からなる系はマルコフ確率場（MRF）と呼ばれ，画像の確率モデルとして広く利用されている．
背　景　１ 多数の変数とその変数間の無向性相互作用からなる系はマルコフ確率場（MRF）と呼ばれ，画像の確率モデルとして広く利用されている． MRFに基づく画像処理においては，ベイズの定理で計算される事後分布を用いる推定（＝ベイズ推定）がよく用いられるが，計算量的困難に直面することが多い． MRFとベイズ推定に基づいた画像処理を行う場合，画像の事前分布を素朴なガウス分布とすると画像中のエッジの表現が難しい． エッジを表現するためには事前分布に隠れ変数を導入することが有効．

4 背 景 ２ 隠れ変数には境界ベースと領域ベースがある． 境界ベースは画素と画素の間に，そこがエッジであるかどうかを表す隠れ変数を置いてゆく．
背　景　２ 隠れ変数には境界ベースと領域ベースがある． 境界ベースは画素と画素の間に，そこがエッジであるかどうかを表す隠れ変数を置いてゆく． 領域ベースは各画素がどの領域に属するかを示す隠れ変数を画素ごとに貼り付ける． 境界ベースの隠れ変数 → 多くの拘束条件が必要 領域ベースの隠れ変数 → 境界が自然に閉じたループになるなど好ましい性質を多く持つ．ただし，局所解に陥りやすいという欠点があるため，あまり使われていない．

5 背 景 ３ 画像をある一定の特徴を持つ小領域ごとに分割する問題は領域分割（セグメンテーション）と呼ばれる 画像に含まれる対象物を抽出する手法
背　景　３ 画像をある一定の特徴を持つ小領域ごとに分割する問題は領域分割（セグメンテーション）と呼ばれる 画像に含まれる対象物を抽出する手法 画像の認識や理解のための第一次画像処理として重要 網膜という2次元センサーの信号から3次元の現実世界を再構成するための第一歩でもあることから視覚の計算論の基礎としても重要

6 先行研究 D. Geman, S. Geman, Graffigne and Dong,
Boundary detection by constrained optimization, IEEE trans. PAMI (1990) MRFに領域ベースの隠れ変数を導入し，シミュレーテッドアニーリングを用いたモンテカルロ法により画像領域分割を行った． Bratsolis and Sigelle, Image relaxation by use of the Potts model with a fast deterministic method, J. Opt. Soc. Am. A (1997) ポッツスピンを領域ベースの隠れ変数（ラベル）に用いて平均場近似に基づく決定論的な手法で画像領域分割を行った．画素値をラベルの初期値として用いた． Chen, Tanaka and Horiguchi, Image segmentation based on Bethe approximation for Gaussian mixture model, Interdisciplinary Information Sciences (2005) ポッツスピンを領域ベースの隠れ変数（ラベル）に用いて確率伝搬法（ベーテ近似）による決定論的な手法で画像領域分割を行った．混合ガウスモデルを仮定し，そのハイパーパラメータ推定も行った．隠れ変数はラベルのみであり，同一ラベル領域内は画素値一様として推定．

7 目　的 ポッツスピン型ラベルKと原画像sの両方を隠れ変数とし，変分法に基づく推論により画像修復と領域分割を行う決定論的アルゴリズムを導出する． ガウス雑音を重畳した人工画像に適用した結果について報告する．

8 アルゴリズム導出の概略 同時事前分布p(x,s,K)から事後分布p(s,K|x)を求める １．同時事前分布p(x,s,K)
２．因子化仮定　　　　　　　　　　　 を満たす試験分布q の中からp(s,K|x)にもっとも近いものを探す（変分推論） 8

9 アルゴリズム導出の詳細 Nは画素数 観測画像 原画像 ポッツスピン 領域ベースの Dはポッツスピンの次元 隠れ変数
xi は観測データ，siとki は隠れ変数

10 観測画像xと原画像sが近いほどエネルギー小
同時事前分布p(x,s,K) ボルツマン分布 隣接する画素lとmの隠れ変数が 異なるなら定数λ， 等しいなら隣接画素の差が小さいほどエネルギー小 エネルギー関数 隣り合う画素対 すべてに関する和 画素すべて に関する和 観測画像xと原画像sが近いほどエネルギー小

11 式を整理すると・・・ ガウス分布 ガウス分布 ベルヌーイ分布 画素 i に隣接する画素の集合

12 変分法を用いてp(s,K|x)を近似的に求める
とおくと一般に s,Kに関して定数 ∴　KL距離が最小という意味で事後分布p(s,K|x)に もっとも近い試験分布q(s,K)を求めるためには， L(q(s,K))を最大化するようなq(s,K)を見つければよい！

13 一般のq(s,K)のままでは計算が困難なので因子化仮定をおく
L(q(s,K))を最大にするq(s), qi(ki)を変分法を用いて求めると

14 q*(s), qi*(ki)を具体的に計算すると，
ポッツスピンの平均値に関するself-consistentな方程式 反復法 で解く 反復

15 実験結果１ (ε=0.5, ρ=130, λ=0.2) 大きなオーバーラップがあり，閾値だけでは領域分割不可な画像に対して
ガウスノイズ 原画像s 観測画像x （PSNR=18dB） x の画素値ヒストグラム （閾値だけでは領域分割不可） 実験結果１ (ε=0.5, ρ=130, λ=0.2) 修復画像 大きなオーバーラップがあり，閾値だけでは領域分割不可な画像に対して 良好な領域分割 → このアルゴリズムは有効であり頑健である

16 実験結果２ 原画像のグラデーション再現と領域分割を同時に実現！ (ε=0.5, ρ=130, λ=0.1) 原画像s 観測画像x
ガウスノイズ 原画像s （グラデーション有り） 観測画像x （PSNR=18dB） x の画素値ヒストグラム （閾値だけでは領域分割不可） 実験結果２ (ε=0.5, ρ=130, λ=0.1) 修復画像 原画像のグラデーション再現と領域分割を同時に実現！

17 まとめ 領域ベースのポッツスピン型ラベルと原画像の両方を隠れ変数とし，変分法に基づく推論により画像修復と画像領域分割を行う決定論的アルゴリズムを導出した． 雑音を重畳した人工画像に適用し，良好な画像修復と領域分割が行えることを示した． 今後の課題 ポッツスピンの次元Dやハイパーパラメータε，ρ，λの自動設定