文化財のデジタル保存のための 偏光を用いた透明物体形状計測手法 宮崎大輔 池内克史 東京大学情報理工学系研究科コンピュータ科学専攻

透明な文化財 もし壊れたら？ ガラスなどの透明な文化財 ３次元形状データを取っておく 文化財のデジタル保存 バーチャル美術館で展示 2004/Dec/2nd 偏光レイトレ(8) 提案手法(6) 実験(7) おわりに(3) はじめに(1/3) 3D Forum 透明な文化財 もし壊れたら？ ガラスなどの透明な文化財 ３次元形状データを取っておく 文化財のデジタル保存 バーチャル美術館で展示

目的 透明な物体の３次元形状を計測する 偏光という物理現象を解析する 偏光解析 実透明物体 仮想透明物体 2004/Dec/2nd 偏光レイトレ(8) 提案手法(6) 実験(7) おわりに(3) はじめに(2/3) 3D Forum 目的 透明な物体の３次元形状を計測する 偏光という物理現象を解析する 偏光解析 仮想透明物体 実透明物体

Saito et al.1999 Miyazaki et al. 2004 Miyazaki et al. 2002 提案手法 2004/Dec/2nd 偏光レイトレ(8) 提案手法(6) 実験(7) おわりに(3) はじめに(3/3) 3D Forum Saito et al.1999 Miyazaki et al. 2004 Miyazaki et al. 2002 提案手法

2004/Dec/2nd 3D Forum 発表の流れ 偏光レイトレーシング法 形状計測手法 2 min 実験・まとめ dummy

偏光 光→電磁波→波→振動している 振動方向が偏る→偏光 偏光度＝偏光の度合い 部分偏光 （偏光度０～１） 法線 入射光 反射光 透過光 2004/Dec/2nd 偏光レイトレ(1/8) 提案手法(6) 実験(7) おわりに(3) はじめに(3) 3D Forum 偏光 光→電磁波→波→振動している 振動方向が偏る→偏光 偏光度＝偏光の度合い 部分偏光 （偏光度０～１） 法線 入射光 反射光 透過光 空気 物体 非偏光 （偏光度０） 光源 完全偏光 （偏光度１） 偏光板

反射 法線 依存 部分偏光 非偏光 空気 物体 部分偏光 2004/Dec/2nd 3D Forum 偏光レイトレ(2/8) 提案手法(6) 実験(7) おわりに(3) はじめに(3) 3D Forum 反射 法線 依存 部分偏光 非偏光 空気 物体 部分偏光

反射と透過 透明物体：反射も透過もする レイトレーシングで光線の動きを計算 2004/Dec/2nd 3D Forum 偏光レイトレ(3/8) 提案手法(6) 実験(7) おわりに(3) はじめに(3) 3D Forum 反射と透過 透明物体：反射も透過もする レイトレーシングで光線の動きを計算

偏光レイトレーシング法 光線の追跡 光線の追跡 輝度の計算 偏光状態の計算 通常のレイトレーシング 偏光レイトレーシング 2004/Dec/2nd 偏光レイトレ(4/8) 提案手法(6) 実験(7) おわりに(3) はじめに(3) 3D Forum 偏光レイトレーシング法 光線の追跡 光線の追跡 輝度の計算 偏光状態の計算 通常のレイトレーシング 偏光レイトレーシング

ミュラー計算法 輝度：スカラー 通常のレイトレーシング 反射率・透過率：スカラー 光の偏光状態：４次元ベクトル ストークスベクトル 2004/Dec/2nd 偏光レイトレ(5/8) 提案手法(6) 実験(7) おわりに(3) はじめに(3) 3D Forum ミュラー計算法 輝度：スカラー 反射率・透過率：スカラー 通常のレイトレーシング 光の偏光状態：４次元ベクトル 反射行列・透過行列：4x4行列 ストークスベクトル 偏光レイトレーシング ミュラー行列

ミュラー計算法の計算例 反射輝度＝反射率×入射輝度 スカラー × ＝ 通常のレイトレーシング 反射ベクトル＝反射行列×入射ベクトル 2004/Dec/2nd 偏光レイトレ(6/8) 提案手法(6) 実験(7) おわりに(3) はじめに(3) 3D Forum ミュラー計算法の計算例 反射輝度＝反射率×入射輝度 スカラー × ＝ 通常のレイトレーシング 反射ベクトル＝反射行列×入射ベクトル 偏光レイトレーシング

ストークスベクトル s0 s1 s2 s3 T 輝度 直線偏光 の強さ 0° 直線偏光 の強さ 45° 右円偏光の度合い 2004/Dec/2nd 偏光レイトレ(7/8) 提案手法(6) 実験(7) おわりに(3) はじめに(3) 3D Forum ストークスベクトル T s0 s1 s2 s3 輝度 直線偏光 の強さ 0° 直線偏光 の強さ 45° 右円偏光の度合い

反射・透過ミュラー行列 反射ミュラー行列： 透過ミュラー行列： の定義は論文を参照 2004/Dec/2nd 3D Forum 偏光レイトレ(8/8) 提案手法(6) 実験(7) おわりに(3) はじめに(3) 3D Forum 反射・透過ミュラー行列 反射ミュラー行列： 透過ミュラー行列： の定義は論文を参照

2004/Dec/2nd 3D Forum 偏光レイトレーシング法 形状計測手法 2 min 実験・まとめ dummy

形状計測手法 形状を変化しながら反復計算 2 min 初期形状 最終形状 偏光レイトレで レンダリングした 偏光度 入力偏光度 2004/Dec/2nd 偏光レイトレ(8) 提案手法(1/6) 実験(7) おわりに(3) はじめに(3) 3D Forum 形状計測手法 形状を変化しながら反復計算 2 min 初期形状 最終形状 偏光レイトレで レンダリングした 偏光度 入力偏光度

誤差関数 2 入力 レイトレ 法線と高さの関係 dxdy を最小化 高さと法線を求める 2004/Dec/2nd 3D Forum 偏光レイトレ(8) 提案手法(2/6) 実験(7) おわりに(3) はじめに(3) 3D Forum 誤差関数 2 入力 レイトレ 法線と高さの関係 dxdy を最小化 高さと法線を求める

形状から法線を計算 まず，初期値として適当な高さを与える 高さを微分して法線を求める 2004/Dec/2nd 3D Forum 偏光レイトレ(8) 提案手法(3/6) 実験(7) おわりに(3) はじめに(3) 3D Forum 形状から法線を計算 まず，初期値として適当な高さを与える 高さを微分して法線を求める

法線を更新 入力偏光度 レンダリング偏光度 光線 法線を変化 誤差 物体 反射光線 が変化 ① ① ① ③ ② 透過光線 が変化 2004/Dec/2nd 偏光レイトレ(8) 提案手法(4/6) 実験(7) おわりに(3) はじめに(3) 3D Forum 法線を更新 入力偏光度 レンダリング偏光度 光線 法線を変化 誤差 物体 反射光線 が変化 ① ① ① ③ ② 透過光線 が変化 Brentの方法

弛緩法（ADI法）で法線から高さを計算できる 2004/Dec/2nd 偏光レイトレ(8) 提案手法(5/6) 実験(7) おわりに(3) はじめに(3) 3D Forum 法線から高さを計算 更新された法線を再び高さに直す 弛緩法（ADI法）で法線から高さを計算できる

アルゴリズムのまとめ 初期高さ 高さを法線に変換 を最小化 2 入力 レイトレ 法線を更新 出力高さ が十分小さいなら 反復終了 2 入力 2004/Dec/2nd 偏光レイトレ(8) 提案手法(6/6) 実験(7) おわりに(3) はじめに(3) 3D Forum アルゴリズムのまとめ 初期高さ 高さを法線に変換 を最小化 2 入力 レイトレ 法線を更新 出力高さ が十分小さいなら 反復終了 2 入力 レイトレ 法線を高さに変換

2004/Dec/2nd 3D Forum 偏光レイトレーシング法 形状計測手法 2 min 実験・まとめ dummy

シミュレーション結果２次元 三角形シミュレーション透明物体 上方から観測 理論値 正面形状・推定値 初期値 1ループ目 2ループ目 2004/Dec/2nd 偏光レイトレ(8) 提案手法(6) 実験(1/7) おわりに(3) はじめに(3) 3D Forum シミュレーション結果２次元 三角形シミュレーション透明物体 上方から観測 理論値 正面形状・推定値 初期値 1ループ目 2ループ目 3ループ目 背面形状は既知と仮定 屈折率1.5は既知と仮定

シミュレーション結果２次元 正面形状・推定値 理論値 上方から観測 背面形状は既知と仮定 初期値 屈折率1.5は既知と仮定 3ループ目 2004/Dec/2nd 偏光レイトレ(8) 提案手法(6) 実験(2/7) おわりに(3) はじめに(3) 3D Forum シミュレーション結果２次元 正面形状・推定値 理論値 上方から観測 背面形状は既知と仮定 初期値 屈折率1.5は既知と仮定 3ループ目 六角形 シミュレーション 透明物体 30ループ目

シミュレーション結果３次元 半球シミュレーション透明物体・屈折率1.5 初期値 1ループ目 2004/Dec/2nd 3D Forum 偏光レイトレ(8) 提案手法(6) 実験(3/7) おわりに(3) はじめに(3) 3D Forum シミュレーション結果３次元 半球シミュレーション透明物体・屈折率1.5 初期値 1ループ目

計測装置コクーン 2004/Dec/2nd 3D Forum カメラアダプタ コンピュータ モノクロTVカメラ IR/UVカットフィルタ 偏光レイトレ(8) 提案手法(6) 実験(4/7) おわりに(3) はじめに(3) 3D Forum 計測装置コクーン カメラアダプタ コンピュータ モノクロTVカメラ IR/UVカットフィルタ 電動偏光板 ジオデジックドーム 偏光板コントローラ 内部に透明物体 40Wランプ プラスチック球

全ての方向から光を当てて観測 白色プラスチック球で 光を拡散 全ての方向から光を当てる 2004/Dec/2nd 3D Forum 偏光レイトレ(8) 提案手法(6) 実験(5/7) おわりに(3) はじめに(3) 3D Forum 全ての方向から光を当てて観測 全ての方向から光を当てる 白色プラスチック球で 光を拡散

実データ結果[半球] 法線誤差：8.99° 高さ誤差：1.95mm 推定結果 初期値 アクリル半球：直径3cm屈折率1.5 2004/Dec/2nd 偏光レイトレ(8) 提案手法(6) 実験(6/7) おわりに(3) はじめに(3) 3D Forum 実データ結果[半球] 法線誤差：8.99° 高さ誤差：1.95mm 初期値 推定結果 アクリル半球：直径3cm屈折率1.5

実データ結果[ベル] 初期値 5ループ目 50ループ目 アクリルベル型物体：底面直径2.4cm屈折率1.5 2004/Dec/2nd 偏光レイトレ(8) 提案手法(6) 実験(7/7) おわりに(3) はじめに(3) 3D Forum 実データ結果[ベル] 初期値 5ループ目 50ループ目 アクリルベル型物体：底面直径2.4cm屈折率1.5

まとめ 透明物体の３次元形状を計測する手法を提案 偏光レイトレーシング法の逆問題を解いた 2004/Dec/2nd 3D Forum 偏光レイトレ(8) 提案手法(6) 実験(7) おわりに(1/3) はじめに(3) 3D Forum まとめ 透明物体の３次元形状を計測する手法を提案 偏光レイトレーシング法の逆問題を解いた

今後の予定 実際に文化財を計測 リアルタイム計測装置の開発 実用化 屈折率推定 ? 2004/Dec/2nd 3D Forum 偏光レイトレ(8) 提案手法(6) 実験(7) おわりに(2/3) はじめに(3) 3D Forum 今後の予定 実際に文化財を計測 リアルタイム計測装置の開発 実用化 屈折率推定 ?

応用分野 文化財の保存・VR美術館 ネットの3Dカタログ 工業製品組み立てロボット リサイクルのための認識 2004/Dec/2nd 偏光レイトレ(8) 提案手法(6) 実験(7) おわりに(3/3) はじめに(3) 3D Forum 応用分野 文化財の保存・VR美術館 ネットの3Dカタログ 工業製品組み立てロボット リサイクルのための認識

Daisuke Miyazaki 2004 Creative Commons Attribution 4 Daisuke Miyazaki 2004 Creative Commons Attribution 4.0 International License. http://www.cvl.iis.u-tokyo.ac.jp/ 宮崎大輔, 池内克史, "文化財のデジタル保存のための偏光を用いた透明物体形状計測手法," ３Ｄ映像, Vol.18, No.4, pp.12-22, 東京, 2004.12