MVA2002@Nara 宮崎大輔 東京大学 池内研究室 12月ITS光学勉強会.

Presentation on theme: "MVA2002@Nara 宮崎大輔 東京大学 池内研究室 12月ITS光学勉強会."— Presentation transcript:

1 宮崎大輔 東京大学 池内研究室 12月ITS光学勉強会

2 Kazushi Yoshida 吉田和司 Hideo Saito 斎藤英雄 慶応義塾大学
Registration of Range Images Using Texture of High-Resolution Color Images Kazushi Yoshida 吉田和司 Hideo Saito 斎藤英雄 慶応義塾大学 12月ITS光学勉強会

3 概要 入力 出力 手法 長所 多方向から撮影したテクスチャ付きレンジデータ テクスチャの貼られた３次元メッシュモデル
改良されたICP法による3D-3Dアラインメント 長所 ３次元モデルにきれいなテクスチャが貼れる アラインメントが高精度 初期位置のずれに強い 12月ITS光学勉強会

4 計測 Minolta VIVID700とOlympus CAMEDIA C-2100を使う カメラキャリブレーション済み
⇒テクスチャが載った状態のレンジデータを取得できる VIVIDに搭載されたカメラだと400x400程度の画像しか取得できないが、デジカメを使う事により1600x1200の高精度な画像を利用できる点が利点 キャリブはTsai??それとも手動で3D-2Dアラインメント?? この実験の場合１６方向からデータを取得した ⇒つまり入力は、１６枚のテクスチャ付きレンジデータ 12月ITS光学勉強会

5 アラインメント：ステップ１ 対応点を見つけ、対応点を合わせるようにレンジデータを動かす
対応点は、window内の輝度値の差がしきい値より小さいものを選ぶ レンジデータ0からレンジデータ1への、反復における現時点での変換行列は求まる そこで、レンジデータ1から見たレンジデータ0の画像をレンダリングできる その画像とレンジデータ1の画像とで対応点探索を行う 12月ITS光学勉強会

6 アラインメント：ステップ２ レンジデータ1をレンジデータ0から見た時の画像とレンジデータ0の画像の差E0を計算する
E0とE1が小さくなるようにレンジデータを動かす 12月ITS光学勉強会

7 マージング Wheeler, Sato, Ikeuchi (1997) Consensus surfaces for modeling 3D objects from multiple range images Lorensen, Cline (1987) Marching cubes: A high resolution 3D surface construction algorithm もし、１点で複数枚のテクスチャが重なったら、法線に近い視線方向のものを２つ選び、ブレンディングする テクスチャの無い点に関しては周囲の点から内捜する 12月ITS光学勉強会

8 実験結果 提案手法による結果 VIVIDに搭載されたカメラを使った場合 12月ITS光学勉強会

9 実験結果 12月ITS光学勉強会

10 Variational Specular Separation Using Color and Polarization
Dae-Woong Kim, Ki-Sang Hong, POSTECH Korea Stephen Lin, Heung-Yeung Shum Microsoft Research China 12月ITS光学勉強会

11 概要 入力 出力 特徴 一視点から得られた偏光画像 鏡面反射成分画像 拡散反射成分画像 Nayarの手法とほとんど変わらない
光源は普通の非偏光の光源で良い 偏光画像としては、偏光板を回した時に輝度が最小になるIminと、輝度が最大になるImaxの２枚の画像を使う 出力 鏡面反射成分画像 拡散反射成分画像 特徴 Nayarの手法とほとんど変わらない Nayarより手法が簡単 二色性反射モデルを使用する Saturation(飽和)があっても問題ない 12月ITS光学勉強会

12 偏光 反射光 偏光板を回すと明るさがImin~Imaxと変化する 拡散反射光は非偏光 鏡面反射光は部分偏光
拡散反射光の場合はImin=Imax、つまりIsv=0、つまり偏光板を回しても明るさは変わらない しきい値tを使えば鏡面反射が発生している領域を検出できる 観測輝度 拡散反射成分 変化しない 変化する 鏡面反射成分 12月ITS光学勉強会

13 鏡面反射領域 入力画像（シミュレーション画像） しきい値（この場合は4)を使って検出した鏡面反射領域（白と紫の部分） 12月ITS光学勉強会

14 二色性反射モデル 拡散反射光成分Idを求めたい ⇒今、ImaxとIminだけが分かっている ⇒ImaxとIminから鏡面反射を表す直線が求まる ⇒Idはこの直線のどこかにある 12月ITS光学勉強会

15 補完 鏡面反射領域が検出できているわけだが、その領域の外側は拡散反射成分しかない ⇒という事は領域の外から内捜してやれば拡散反射成分が分かるじゃん！ 12月ITS光学勉強会

16 実際の計算 以下のエネルギー関数Eを最小化すればよい 鏡面反射成分が 滑らかに変化するようにする ⇒光源と物体は滑らかだろう
拡散反射成分が 滑らかに変化するようにする ⇒テクスチャは大体同じだろう 鏡面反射成分が 滑らかに変化するようにする ⇒光源と物体は滑らかだろう ※僕はこの数式の意味を完全に理解していないので概要だけ説明します 鏡面反射領域 ラグランジュ定数 2x2定行列（定義は省略） 直交する2つのベクトル と を使って と表せる ただし はImaxとIminからなる直線に平行 12月ITS光学勉強会

17 Saturation(飽和)の検出 入力画像（シミュレーション画像） 輝度が255の部分をサチった領域として検出（紫の部分）
12月ITS光学勉強会

18 Saturation(飽和)の問題点 サチったピクセルの鏡面反射を表す直線が正しい値からずれてしまう ⇒サチっていない周囲の鏡面反射ピクセルから推定可能 なぜなら、鏡面反射を表す直線は隣り合ったピクセルで平行だから 光源が同じなら平行になる 隣接点なのでなおさら平行であると言える 12月ITS光学勉強会

19 実際の計算 以下のエネルギー関数Eを最小化すればよい サチった領域の色ベクトルをサチってない領域の色ベクトルに近づける
サチっていない領域の色ベクトルは元々の色ベクトルからずれた値にならないようにする は色ベクトルで、鏡面反射成分の色ベクトル を単位ベクトルになるように正規化したものである はサチっている領域 はサチっていない鏡面反射領域 でもたぶんSatuは鏡面反射領域全体の間違いだと思う は正の定数 はΨの初期値 12月ITS光学勉強会

20 実験結果 12月ITS光学勉強会

21 シミュレーション結果 12月ITS光学勉強会

22 Adaptive Background Estimation and Shadow Removal in Indoor Scenes
Junya Morita 森田 順也 Yoshio Iwai 岩井 儀雄 Masahiko Yachida 谷内田正彦 大阪大学 12月ITS光学勉強会

23 概要 12月ITS光学勉強会

24 背景 以下、光源が２つとして手法を解説するが、光源が３つの場合も同様に実行できる
ある点Aにおける背景輝度Eは、光源1のみを点灯した場合の背景輝度L1と光源2のみを点灯した場合の背景輝度L2の線形和で表される L1とL2をあらかじめ求めておき、入力画像からS1とS2を推定する 光源をon/offしたり明るさや色を調節しても、ロバストに影の除去を行う事ができる あらかじめL1とL2を求める必要があるので、移動する光源には対応できない 12月ITS光学勉強会

25 例 Output = 0.6 Input + 0.8 Input 背景画像 照明画像1 （背景基底画像） 照明画像2 （背景基底画像）
L1,L2,IからS1,S2を求めたい S1,S2が求まるとEが求まる 入力画像 12月ITS光学勉強会

26 推定手法 ランダムに２つのピクセルを選ぶ S1とS2を求める ただしTはRGBのそれぞれの要素の総和
1~3を一定回数繰り返す S1とS2のヒストグラムを作り、それぞれのピークをS1とS2の推定値とする 12月ITS光学勉強会

27 RANSAC 入力画像を背景画像とみなしてS1,S2を求める 背景領域は多いので、S1,S2のヒストグラムをとれば真値でピークになるだろう
12月ITS光学勉強会

28 例 G(0.6,0.5,0.4) V(0.6,0,0.8) S(0,0.2,0.4) B(0,0,0.8) P(0.6,0.3,0) R(0.6,0,0) X(1,1,0) Y(1,1,0) (1,0.5,0) (0,0.25,0.5) (1,0,0) (0,0,1) L1 L2 G 1.5=1.5S1+0.75S2 V 1.4=S1+S2 S1=0.6 S2=0.8 B 0.8=S1+S2 R 0.6=S1+S2 B 0.8=S1+S2 X 2=1.5S1+0.75S2 S1=1.9 S2=-1.1 解なし S1=0.6 S2=0.0 B 0.8=S1+S2 S 0.6=1.5S1+0.75S2 S1=0.0 S2=0.8 R 0.6=S1+S2 P 0.9=1.5S1+0.75S2 S1=0.4 S2=0.6 B 0.8=S1+S2 P 0.9=1.5S1+0.75S2 B 0.8=S1+S2 Y 2=S1+S2 解なし S1 0.6 0.0 S2 0.8 0.4 12月ITS光学勉強会

29 ヒストグラム 12月ITS光学勉強会

30 影の決定 入力輝度Iと背景輝度Eの差がしきい値より小さければその部分は背景 影領域 それ以外は物体領域
入力輝度IとS1L1の差がしきい値より小さければその部分は影 入力輝度IとS2L2の差がしきい値より小さければその部分は影 少し端折っているので詳しくは論文を読め それ以外は物体領域 12月ITS光学勉強会

31 結果 12月ITS光学勉強会

32 結果 12月ITS光学勉強会

33 結果 12月ITS光学勉強会

34 Shoji Tominaga 富永昌治 Norihiro Tanaka 田中法博 大阪電気通信大学
Spectral Measurement of Ambient Lighting and Its Application to Image Rendering Shoji Tominaga 富永昌治 Norihiro Tanaka 田中法博 大阪電気通信大学 12月ITS光学勉強会

35 全方位の光源分布の計測とその応用 田中法博 富永昌治 MIRU2002 12月ITS光学勉強会

36 概要 目的 入力 出力 特徴 周囲の光源分布を簡便に計測することにより、同じ光源分布下においた仮想物体をリアルに再現する
鏡面球をRGBカラーカメラで撮影した画像 カメラの分光感度 カメラパラメータ（内部パラメータ） 鏡面球の分光反射率 光源の分光分布の基底関数 出力 全方位光源分布 光源の分光スペクトル分布 特徴 Debevecの手法とあまり変わらない 12月ITS光学勉強会

37 鏡面球の計測系 12月ITS光学勉強会

38 光源の分光分布の推定 k=1,2,3 カメラ出力 光源の 分光分布 鏡面球の 分光反射率 カメラの 分光感度 j=1,2,3
基底関数 の重み 光源分光分布 の基底関数 3x1 3x3 3x1 一般化逆行列 入力 (計測) 出力 入力 (あらかじめ求めておく) 12月ITS光学勉強会

39 計測画像 12月ITS光学勉強会

40 合成後の光源分布の極座標系表示 12月ITS光学勉強会

41 Direct sunの分光推定結果 12月ITS光学勉強会

42 CGによる画像生成例 スキャナのバグ 12月ITS光学勉強会

43 Daisuke Miyazaki 2002 Creative Commons Attribution 4
Daisuke Miyazaki 2002 Creative Commons Attribution 4.0 International License. 12月ITS光学勉強会