第５回 両眼立体視と明るさ解析

Marr のパラダイム 世界座標系表現 観測者中心座標系表現 3D 特徴抽出 モジュール 3D 表現 2-1/2D 表現 融合・内そう 明るさ 模様 線画 両眼 動き 3D 特徴抽出 モジュール 2D 画像

話題 1. 基本概念 2. 両眼立体視基本方程式 3. エピポーラ線 4. 照合のための特徴と戦略

両眼立体視 一枚の画像ではあいまい A ２箇所の異なった場所からの画像より３次元位置が決定 a’ a”

エピポーラ拘束 エピポーラ線 エピポーラ面 画像中の１点 可能性のある視線 基線 対応する点はエピポーラ線上に存在 エピポーラ拘束

エピポーラ線の特性 正規化

ステレオ方程式 物理点 左画像点 右画像点 右画像面 左画像面 焦点距離 右画像中心 左画像中心 z 世界座標 基線長

ステレオ方程式 d + x d - x -z x” x’ f d d z=-2df/(x”-x’) x”-x’: 視差 2d : 基線長 z

ステレオの分類 Marr-Poggio Marr-Poggio-Grimson Nishihara-Poggio MIT group Lucas-Kanade Ohta-Kanade Matthie-Kanade Okutomi-Kanade Baker Hannah Moravec Barnard-Thompson MIT group CMU group Stanford group

照合特徴 a. 明るさ 10 11 12 10 11 12 11 15 16 b. エッジ c. エッジ間距離 d. インタレスト点

照合戦略 a. 弛緩法 b. 階層法 c. DP法 global optimam local optimam local optimam 10 10 10 10 5 10 10 10 10 10 5 10 10 10 10 b. 階層法 c. DP法 global optimam local optimam local optimam

例１：領域ベースステレオ 1. 手法 b c b c 2. 問題点 a. 窓の大きさと解像度 b. ピークのなまり b c

領域ベースステレオ ハードウエア 小松製　9眼ステレオ

領域ステレオ処理結果 入力画像列 出力（距離画像） 窓内明るさ照合 エピポーラ拘束 視差限界 明るい点： 近い、暗い点：遠い 明るい点：　近い、暗い点：遠い 窓処理のため周辺で拡大 視差制限のため背景がノイズ

例２：Marr-Poggio ステレオ 人間の両眼立体視機構をシミュレートする (ランダムドットステレオグラム)

人間が立体視すると動いた部分がせりあがって板が見える ランダムドット立体視 パッチ内のドットを平行移動 あいた部分にはドットでうめる 左画像 右画像 人間が立体視すると動いた部分がせりあがって板が見える

拘束（その１） エピポーラ拘束：　 　　　　2次元探索ー＞１次元探索

拘束（その２） 唯一性拘束(Uniqueness Constraint): 画像中の1点は１つだけの距離値を持つ 可 不可 例：　水面と水中の石

拘束（その３） 連続性拘束(Continuity constraint)： 　　　隣あった点は同じような距離値を持つ 可 不可

アルゴリズムの定式化 エピポーラ拘束： ２D －＞ １D アルゴリズム表現 視線の関係図 各ノードを仮想的な神経細胞と考える A B C D E F アルゴリズム表現 D E F A B C 視線の関係図 各ノードを仮想的な神経細胞と考える 各ノードの興奮状態で面の存在を記述

唯一性拘束のアルゴリズム化 同一の視線上で1つ以上のノードの興奮を禁止 同一視線（水平線と垂直線）にそって興奮細胞が抑制信号を送る (E-A) (E-B) (E-C) prohibit A B C

連続性拘束のアルゴリズム化 同一視差での興奮を励起 同一視差（斜め線）にそって興奮細胞が興奮信号を送る 同一視差 (D-A) (E-B) (F-C) 同一視差

全体の定式化 閾値関数 斜めよりの興奮信号 水平・垂直よりの抑制信号

照合戦略（弛緩法） 10 10 10 10 5 10 10 10 10 10 5 10 10 10 10

ランダムドット 得られた 距離

参考文献（両眼立体視） Marr, D. and Poggio, T., “Cooperative computation of stereo disparity, Science 194, 283-287 Ohta, U., and Kanade, T. “Stereo by intra and inter-scanline search,” IEEE Trans PAMI-2, No.2, pp. 139-140. Moravec, H. “Visual mapping by a robot rover,” Proc. IJCAI, pp. 598-600

Marr のパラダイム 世界座標系表現 観測者中心座標系表現 3D 特徴抽出 モジュール 3D 表現 2-1/2D 表現 融合・内そう 明るさ 模様 線画 両眼 動き 3D 特徴抽出 モジュール 2D 画像

明るさ解析

表面反射と内部反射 表面反射 内部反射 入射光 物体表面 内部色素 外部 物体内部 表面反射 = ハイライト、光源色、偏光、高い方向性 表面反射　=　　ハイライト、光源色、偏光、高い方向性 内部反射 = 物体色、　非偏光、全ての方向へ プラスティックや塗装面は両方の反射があり 金属面は表面反射のみ

内部反射のモデル 拡散反射---全ての方向に反射 一般的な近似: 反射の強さ=係数 * 幾何項 なぜ cos i ? 全ての方向に同一の明るさ 完全拡散反射 ランバートのコサイン法則 反射の強さ=係数 * 幾何項 f (i,e,g) = Kb * cos i なぜ cos i ? 入力角が入射エネルギーの密度に影響する 　照度＝エネルギー／面積 　エネルギー　＝　１ 　面積　＝　１／cos i 　照度＝　cos i

内部反射モデル 等照度曲線 p q 0.5 0.8 0.9 (p,q)　に対して N= (p,q,1) 光源方向ベクトル S= q p

光源と観測者位置が異なる場合 Lambertian（均等拡散面） Self-shadow line 自分自身の陰になり光が照射されない q p q q p Self-shadow line 自分自身の陰になり光が照射されない

明るさ解析問題 内部反射の明るさは，面の傾きにのみ依存する ⇔ 明るさ情報から物体形状（面の傾き）が特定できる (p,q,1) 　⇔　明るさ情報から物体形状（面の傾き）が特定できる (p,q,1) 0.8 明るさ情報 面の傾き p q 0.8 明るさ方程式　E(x,y)=R(p,q) 　 明るさ方程式は、グラディエント空間に拘束を１つ与えるだけ 　＝＞　未知数の方が多い！ 等照度曲線

照度差ステレオ １つの明るさ方程式は1つの拘束 --- > 複数の方程式を得る！ 視点を変えずに光源方向のみを変えた画像を複数枚撮る 光源方向に応じて異なった反射率地図が得られる 同一地点で複数の明るさ方程式 p q

３枚以上の画像から，その点の傾きを特定できる 照度差ステレオ ３枚以上の画像から，その点の傾きを特定できる

解析解 実世界はもう少し複雑な光源＆反射率地図 --- > 参照表法

参照表作り Ikeuchi & Horn 83

実行時

参考文献（明るさ解析） Horn, B.K.P. “Image Intensity Understainding,” Artificial Intelligence, Vol 8, pp201-231, 1977 Nayar S.K., K. Ikeuchi, and T. Kanade "Surface reflection: physical and geometrical perspectives", IEEE Trans. PAMI, Vol. 13, pp.661-634, 1991. Horn, B.K.P. & Ikeuchi, K. “The Mechanical Manipulation of Randomly Oriented Bin,” Scientific American, Vol. 251, No.2, pp. 100-111, 1984. Horn, B.K.P “Obtaining shape from shading information,” in The Psychology of Computer Vision, P.H. Winston (ed.), McGraw-Hill, 1995 Ikeuchi, K. & B.K.P. Horn, “Numerical shape from shading and occluding boundaries,” Artificial Intelligence, Vol. 17, 1981. Klinker, G.J., S.A. Shafer & T. Kanade, “The measurement of highlight in color image,” Int. J. Computer Vision, Vol.2, 1988.

まとめ 両眼立体視 両眼立体視基本方程式 エピポーラ拘束 照合の特徴と戦略 明るさ解析 反射率地図の使用法 明るさ方程式 照度差ステレオ原理