視覚の役割 初期視覚（early vision) ↓ 中間視覚（middle vision) 高次視覚（high-level vision) 2次元画像から外界の3次元構造を推測すること 初期視覚（early vision) ↓ 中間視覚（middle vision) 高次視覚（high-level vision)

視覚の不良設定性 良設定問題 (1) 問題の解が存在し (2) 解が一意であり (3) 解がデータに連続に依存する 光学 3次元空間→２次元画像 視覚（逆光学） 2次元画像→3次元空間 :不良設定性

Contour Based Optical Flow (Hildreth) Within the aperture, only motion component perpendicular to the contour can be measured. How to determine velocity vector? Smoothness of the velocity field

標準正則化理論 光学 データ から を解く（逆問題） 画像 3次元世界の様子を推測 を最小にする を求める データ　から　を解く（逆問題） 画像 3次元世界の様子を推測 を最小にする　を求める 画像データ拘束　世界のモデル・なめらかさ・先験的知識√ ：線形汎関数

標準正則化汎関数 問題 正則化原理 エッジ検出 領域に基づくオプティカルフロー 輪郭に基づくオプティカルフロー 表面再構成 時空間近似 色 問題 正則化原理 エッジ検出 領域に基づくオプティカルフロー 輪郭に基づくオプティカルフロー 表面再構成 時空間近似 色 陰影からの構造復元 ステレオ

最大事後確率推定としてみた標準正則化理論 3次元世界 画像 光学 観測ノイズ 3次元世界の先見分布 条件付確率 事後確率 最大事後確率推定 標準正則化 最大 最小

中間視覚 (middle vision)　 複数の手がかりの統合 　↓ 2・１/2次元スケッチ ライン過程（不連続）が統合のかなめ

Integrating Visual Modules Disparity Optical flow Shading Texture coupled MRF 2・1/2-D sketch

Filling-Inと不連続 (1) 雑音がのったまばらなデータから内挿・外挿して 滑らかな表現を得る (2)内挿・外挿は不連続線で停止する 　 滑らかな表現を得る (2)内挿・外挿は不連続線で停止する (3) 不連続線は連続につながる ●　静止網膜像 ●　neon-color spreading ●　Craik-O’Brien 錯視

Visual Cortex as MRF Interaction is Local (Ts’o, 1986) Retina up fovea right down This basic cortical module(hypercolumn) in area 17 of the visual cortex contains a complete set of orientation columns representing 360 and a set of ocular dominance columns. Each hypercolumn also contains several cortical pegs, regions of cortex in which the cells do not have an axis of orientation. The cells in the pegs are concerned with color, as well shall see in Chapter 30. Each layer of the lateral geniculate nucleus receives input from either the contralateral (c) or the ipsilateral (I) eye and projects in turn to the ipsilateral or the contralateral ocular dominance columns. CO R L R L 2&3 4A 4B 4C 5&6 Interaction is Local (Ts’o, 1986) Strength of the interactions …. dropps as the horizontal distance increased and became significantly weaker 2-3mm several degree

一撃計算と繰り返し計算の比較 一撃計算 繰り返し計算 解剖学 (ハードウェア) 後ろ向き結合 水平結合 前向き結合 反復演算 　一撃計算　　　 繰り返し計算 解剖学 (ハードウェア) 後ろ向き結合 水平結合 前向き結合 反復演算 (アルゴリズム) 一撃アルゴリズム 反復アルゴリズム 本質的な特徴の抽出 視覚世界の推定 視覚の目的 (計算理論) (Gibson, Ballard) (Marr, Poggio) 神経発火の情報 キャリアー (表現) 初期発火 発火の時間パターン

運動知覚における局所的曖昧性 ・窓枠から知覚する輪郭の運動 ・局所的曖昧性→中央の窓内の輪郭の運動方向は曖昧である． ・人間が知覚する中央の輪郭の運動方向は、端点の運動方向に影響される。　すなわち、情報の統合によって曖昧性が解決されている。 ・中央の知覚の時間的変化を調べることによって統合のメカニズムを知る　ことができる。

運動方向の補完の時間特性:実験手続き ・Target の中央の線分の運動方向と，その後に呈示されるランダムドットの運動　方向を比較し、どちらが鉛直方向に近いかを答える。 ・窓サイズ固定条件 　輪郭長= 2.4, 4.0, 5.6, 7.2(deg)，窓サイズ= 1.1(deg) 　輪郭呈示時間= 100, 200,300, 400, 500, 600(ms) ・輪郭長固定条件 　輪郭長= 7.2(deg)，窓サイズ= 1.1, 1.9, 2.7. 3.5(deg)

運動方向の補完の時間特性:実験結果 輪郭が短かくなる、または、窓が大きくなると、知覚される運動方向は鉛直に 近づく。(p< .001)

計算理論:情報の空間的伝播と繰り返し計算 s:線分上の位置、V(s):各点での速度、b(s) :各点での輪郭のバインディング (0 < b(s) <1), N(s) :点sでの垂線方向の単位ベクトル、 VN(s) :速度の垂線成分 ・輪郭の補完と、輪郭上の運動情報 　の伝播からなるモデル． ・輪郭及び運動方向の情報は空間的 　に局所的に表現され、局所的な相 　互作用によって伝播する。 ・エネルギー関数の最小化として定 　式化でき、繰り返し計算によって 　解くことができる。

実験結果とモデルによる予測の比較

奥行き知覚における局所的曖昧性 テクスチャの無い面の奥行き ・テクスチャのない水平な輪郭では左右画像の対応が一意に決まらないため、奥行き 　が局所的に曖昧となり、例えば上図のステレオグラムは実際には下図に示したよう 　な形状を表しているかもしれない。 ・しかし、通常は平らな面が知覚される。これは左右画像の対応が一意に決まる端点 　等で得られる奥行き情報を使って、曖昧な部分の奥行きが補完されるからである。

奥行き補間の時間特性:実験手続き 水平な線分の奥行き補間のダイナミクスを実験的に観測する。 水平線分の端点の視差を時間的に変化させたときにその中央の奥行きの知覚がどのよ うに変化するかを、中央に置いた垂直線分と比較することによって測定する。 被験者は周期的に運動する水平線分の中央部の奥行きが、同じ周期で運動する垂直線 分の奥行きと等しくなるように、水平線分の端点と垂直線分との振動の位相差を調整 する。

奥行き補間の時間特性:実験結果 ・長さに依存した時間の遅れが存在。 ・垂直方向の呈示位置が固視点から離れると、時間の遅れが小さくなる。 ・途中を遮蔽すると時間の遅れが大きくなる。

視覚情報の空間的伝播 ・局所的に曖昧な輪郭運動方向あるいは奥行きの知覚は、近傍に呈示された 　曖昧でない視覚パターンによってその曖昧性が解決される。 ・実験的にその過程を観測することによって、この曖昧性の解決が、空間的な 　距離や遮蔽等に依存した時間のかかる処理によって行われていることが分か 　った。 ・局所的情報表現とその局所的相互作用に基づき、繰り返し計算によって視覚 　情報が空間的に伝播すると考える計算論的モデルが，得られた実験の結果を 　よく説明した。これは、脳の視覚情報処理においても繰り返し的計算による 　情報処理が行われている可能性を示している。

一次視覚野と高次視覚野とで構成される階層構造の基本計算モデル 高次視覚野(HVC) 一次視覚野と高次視覚野とで構成される階層構造の基本計算モデル 一次視覚野では、高次視覚野の表現と2次元画像データとの中間的な表現が処理される。これに対応して画像生成過程は、高いレベルでの記述から低いレベルでの記述への　と、低いレベルでの記述から2次元画像データへの　との直列計算で表せる。 1次視覚野(V1) 2次元画像データ 画像生成過程 3次元視覚世界の低いレベルでの記述 3次元視覚世界の高いレベルでの記述