偏光による形状推定および色の解析 宮崎大輔

コンピュータビジョンとコンピュータグラフィックス イントロ(1/2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2) コンピュータビジョン(CV) コンピュータグラフィックス(CG) 現実世界 情報 デジタルデータ 画像 偏光？ マルチスペクトル？ 偏光？ マルチスペクトル？ コンピュータビジョンとコンピュータグラフィックス

本日のトピック 形状計測 色の解析 実写 CG 1.視体積交差法と偏光を利用した鏡面物体の三次元形状計測 イントロ(2/2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2) 形状計測 色の解析 実写 CG 1.視体積交差法と偏光を利用した鏡面物体の三次元形状計測 3.偏光と反射モデルとウェーブレット圧縮を利用した物体の見えの再現 光源A 光源B 2.偏光レイトレーシング法を用いた透明物体の三次元形状計測 4.メタメリズム生起のための油絵の具の調合割合の算出 ※この発表では偏光＝直線偏光 ※この発表ではスペクトル＝分光スペクトル 本日のトピック

視体積交差法と偏光を利用した鏡面物体の三次元形状計測 4つの話題のうちの1つ目

滑らかな黒色物体の形状計測 形状計測 黒い 鏡面反射 複数視点で観測 偏光 → 法線 視体積交差法 → ３次元座標 イントロ(2) 黒色形状(1/7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2) 形状計測 黒い 鏡面反射 複数視点で観測 偏光　　　　　　　→　法線 視体積交差法　→　３次元座標 滑らかな黒色物体の形状計測

偏光と法線の関係 方位角 最小輝度の時の偏光角＝反射面＝法線の候補 法線の候補 偏光カメラ 反射面 部分偏光 非偏光 イントロ(2) 黒色形状(2/7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2) 方位角 最小輝度の時の偏光角＝反射面＝法線の候補 法線の候補 偏光カメラ 反射面 部分偏光 非偏光 偏光と法線の関係

2視点以上から法線を一意に決定 方位角2 方位角1 法線 カメラ2 カメラ1 反射面1 反射面2 物体表面 イントロ(2) 黒色形状(3/7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2) 方位角2 方位角1 法線 カメラ2 カメラ1 反射面1 反射面2 物体表面 2視点以上から法線を一意に決定

視体積交差法 カメラ 物体 対象物体の３次元形状 シルエットから 視体積 復元 画像 シルエット 復元される３次元形状 イントロ(2) 黒色形状(4/7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2) カメラ 物体 対象物体の３次元形状 シルエットから 復元 視体積 画像 シルエット 復元される３次元形状 視体積交差法

実験装置 ライティングドーム 対象物体 回転台 偏光カメラ 一様光源 24視点で撮影 イントロ(2) 黒色形状(5/7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2) 一様光源 ライティングドーム 対象物体 回転台 24視点で撮影 偏光カメラ 実験装置

イントロ(2) 黒色形状(6/7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)

イントロ(2) 黒色形状(7/7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)

偏光レイトレーシング法を用いた透明物体の三次元形状計測 4つの話題のうちの2つ目

目的 透明な物体の３次元形状を計測する 偏光を解析する 偏光解析 実透明物体 仮想透明物体 イントロ(2) 黒色形状(7) 透明形状(1/7) 反射CG(7) 条件等色(7) まとめ(2) 透明な物体の３次元形状を計測する 偏光を解析する 偏光解析 仮想透明物体 実透明物体 目的

偏光レイトレーシング 光線の追跡 偏光状態の計算 ミュラー計算法 イントロ(2) 黒色形状(7) 透明形状(2/7) 反射CG(7) 条件等色(7) まとめ(2) 光線の追跡 偏光状態の計算 ミュラー計算法 偏光レイトレーシング

形状計測アルゴリズム 初期形状 反復計算 形状を更新していく 計算された正規化ストークスベクトル （偏光レイトレーシングを使用） 2 min イントロ(2) 黒色形状(7) 透明形状(3/7) 反射CG(7) 条件等色(7) まとめ(2) 初期形状 反復計算 形状を更新していく 計算された正規化ストークスベクトル （偏光レイトレーシングを使用） 2 min 入力正規化ストークスベクトル （偏光カメラの計測結果） 最終結果 形状計測アルゴリズム

計測装置コクーン カメラアダプタ コンピュータ モノクロTVカメラ IR/UVカットフィルタ 電動偏光板 ジオデジックドーム イントロ(2) 黒色形状(7) 透明形状(4/7) 反射CG(7) 条件等色(7) まとめ(2) カメラアダプタ コンピュータ モノクロTVカメラ IR/UVカットフィルタ 電動偏光板 ジオデジックドーム 偏光板コントローラ 内部に透明物体 40Wランプ プラスチック球 計測装置コクーン

実験結果 誤差(高さ):0.61mm 誤差(法線):7.0 誤差(高さ):2.8mm 誤差(法線):14 3000 50 25 1500 イントロ(2) 黒色形状(7) 透明形状(5/7) 反射CG(7) 条件等色(7) まとめ(2) アクリル半球 屈折率 1.5 直径 30mm 誤差(高さ):0.61mm 誤差(法線):7.0 初期形状 (従来法) 50ループ 誤差(高さ):2.8mm 誤差(法線):14 初期形状 (従来法) 10ループ 3000 50 25 1500 誤差/ループ 実験結果

実験結果 ガラス(屈折率 1.5) 10ループ 初期形状(従来法) イントロ(2) 黒色形状(7) 透明形状(6/7) 反射CG(7) 条件等色(7) まとめ(2) ガラス(屈折率 1.5) 10ループ 初期形状(従来法) 実験結果

実験結果 初期形状 (手動設定) 推定形状 (10ループ) イントロ(2) 黒色形状(7) 透明形状(7/7) 反射CG(7) 条件等色(7) まとめ(2) 初期形状 (手動設定) 推定形状 (10ループ) 実験結果

偏光と反射モデルとウェーブレット圧縮を利用した物体の見えの再現 4つの話題のうちの3つ目

偏光による反射成分の分離 一般的な写真 拡散反射成分 完全偏光 完全偏光 非偏光 鏡面反射 拡散反射 鏡面反射成分 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(1/7) 条件等色(7) まとめ(2) 一般的な写真 拡散反射成分 完全偏光 完全偏光 非偏光 鏡面反射 拡散反射 鏡面反射成分 偏光による反射成分の分離

拡散反射モデル 光源方向と法線（物体の向き）が同じ向きのとき，最も明るくなる コサイン関数により陰影を表現 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(2/7) 条件等色(7) まとめ(2) 光源方向と法線（物体の向き）が同じ向きのとき，最も明るくなる コサイン関数により陰影を表現 拡散反射モデル

鏡面反射モデル 鏡の方向のとき，最も明るくなる ガウス関数（正規分布）により艶っぽさを表現 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(3/7) 条件等色(7) まとめ(2) 鏡の方向のとき，最も明るくなる ガウス関数（正規分布）により艶っぽさを表現 鏡面反射モデル

実験装置 レーザ距離計測装置 光源 対象物体 偏光板 カメラ 回転台 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(4/7) 条件等色(7) まとめ(2) レーザ距離計測装置 光源 対象物体 偏光板 カメラ 回転台 実験装置

イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(5/7) 条件等色(7) まとめ(2) 形状 画像 入力データ

イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(6/7) 条件等色(7) まとめ(2) 実験結果

イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7/7) 条件等色(7) まとめ(2) その他の結果(5:1)

メタメリズム生起のための油絵の具の調合割合の算出 4つの話題のうちの3つ目

メタメリズムアート ・絵画 ・アトラクション ・広告 ・透かし 同じ色に見える 違う色に見える 光源1 光源2 絵の具1 絵の具1 絵の具2 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(1/7) まとめ(2) ・絵画 ・アトラクション ・広告 ・透かし 同じ色に見える 違う色に見える 光源1 光源2 絵の具1 絵の具1 絵の具2 絵の具2 メタメリズムアート

色の知覚 脳 光源 赤(X) 緑(Y) 青(Z) 物体 網膜 錐体 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(2/7) まとめ(2) 脳 光源 赤(X) 緑(Y) 青(Z) 物体 網膜 錐体 色の知覚

スペクトル分布 X: 0.36 Y: 0.50 Z: 0.14 等色関数 (CIE-XYZ) ライト1 絵の具1 X: 0.36 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(3/7) まとめ(2) X: 0.36 Y: 0.50 Z: 0.14 等色関数 (CIE-XYZ) ライト1 絵の具1 X: 0.36 Y: 0.50 Z: 0.14 等色関数 (CIE-XYZ) ライト1 絵の具2 スペクトル分布

絵の具の調合 これを 自動的に 推定 絵の具データベースD 混合割合w イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(4/7) まとめ(2) これを 自動的に 推定 絵の具データベースD 混合割合w 絵の具の調合

E1 E2 Dw1 Dw2 Dw1 Dw2 コスト関数最小化 2 0.5 arg min pE1Dw1 pE1Dw2 pE2Dw1 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(5/7) まとめ(2) E1 E2 Dw1 Dw2 Dw1 Dw2 2 0.5 arg min pE1Dw1 pE1Dw2 pE2Dw1 pE2Dw2 w1,w2 コスト関数最小化

実験結果 R: 20 G: 108 B: 0 R: 7 G: 86 B: 5 R: 51 G: 82 B: 23 R: 110 G: 19 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(6/7) まとめ(2) R: 20 G: 108 B: 0 R: 7 G: 86 B: 5 R: 51 G: 82 B: 23 R: 110 G: 19 B: 16 光源2 光源1 混合塗料2 混合塗料1 実験結果

イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7/7) まとめ(2) 光源2 光源1 実験結果

まとめ

本日のトピック 形状計測 色の解析 実写 CG 1.視体積交差法と偏光を利用した鏡面物体の三次元形状計測 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(1/2) 形状計測 色の解析 実写 CG 1.視体積交差法と偏光を利用した鏡面物体の三次元形状計測 3.偏光と反射モデルとウェーブレット圧縮を利用した物体の見えの再現 光源A 光源B 2.偏光レイトレーシング法を用いた透明物体の三次元形状計測 4.メタメリズム生起のための油絵の具の調合割合の算出 本日のトピック

発表文献 本日の内容 偏光とコンピュータの様々な研究の紹介 ウェブページ イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2/2) 本日の内容 Daisuke Miyazaki, Takuya Shigetomi, Masashi Baba, Ryo Furukawa, Shinsaku Hiura, Naoki Asada, "Polarization-based surface normal estimation of black specular objects from multiple viewpoints," Proc. 3D Imaging, Modeling, Processing, Visualization & Transmission, pp. 104-111, 2012. Daisuke Miyazaki, Katsushi Ikeuchi, "Shape estimation of transparent objects by using inverse polarization raytracing," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 29, no. 11, pp. 2018-2030, 2007. Daisuke Miyazaki, Takushi Shibata, Katsushi Ikeuchi, "Wavelet-texture method: Appearance compression by polarization, parametric reflection model, and Daubechies wavelet," International Journal of Computer Vision, vol. 86, no. 2-3, pp. 171-191, 2010. Daisuke Miyazaki, Kazuki Nakamura, Masashi Baba, Ryo Furukawa, Masahito Aoyama, Shinsaku Hiura, Naoki Asada, "A first introduction to metamerism art," SIGGRAPH ASIA Posters, 2012. 偏光とコンピュータの様々な研究の紹介 宮崎 大輔, 池内 克史, "偏光の基礎理論とその応用," 情報処理学会論文誌 コンピュータビジョンとイメージメディア, Vol. 1, No. 1, pp. 64-72, 2008.6 ウェブページ http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/ 発表文献

宮崎大輔, "偏光による形状推定および色の解析," 第127回微小光学研究会, 東京, 2013年3月. Daisuke Miyazaki 2013 Creative Commons Attribution 4.0 International License. http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/ 宮崎大輔, "偏光による形状推定および色の解析," 第127回微小光学研究会, 東京, 2013年3月. 以上で発表を終わります。ありがとうございました。