向川康博 （大阪大学，MIT） Ramesh Raskar (MIT) 八木康史（大阪大学） MIRU2010 散乱媒体中の ライトトランスポートの解析 向川康博 （大阪大学，MIT） Ramesh Raskar (MIT) 八木康史（大阪大学） MIT Media Labに滞在 2009/6-2010/3

散乱媒体中のライトトランスポート 微粒子との衝突の繰り返し 複雑な光線空間を形成 dark bright

単一散乱と多重散乱 単一散乱（シングルスキャッタリング）： 多重散乱（マルチスキャッタリング）： 媒体内部で一度だけ微粒子に衝突 光学的な濃度が低い媒体（霧や不純物を含む水など）で観測 指向性が高く光路が一意に定まる 多重散乱（マルチスキャッタリング）： 媒体内部で何度も反射を繰り返す 光学的な濃度が高い媒体（皮膚や大理石など）で観測 ディフュージョン近似

光学的な濃さによる散乱の違い Vitamin water オレンジジュース 牛乳 単一散乱 低次の散乱 多重散乱

関連研究：散乱媒体の濃度について両極端な仮定 単一散乱（霧，濁った水など） パーティシペィティングメディア 散乱除去やパラメータの推定 低次の散乱（２回反射，３回反射...） 未着手 多重散乱（大理石，肌など） ダイポール近似モデル レンダリングやパラメータ推定 薄 [Narasimhan et al. 2005] 光学的な濃度 濃 Dipole model [Jensen et al. 2001]

本研究の目的 散乱媒体中のライトトランスポートを解析 位置づけ： 散乱光のインバースライトトランスポート 散乱光を反射回数ごとに分解 ライトトランスポートの可視化 位置づけ： 散乱光のインバースライトトランスポート Seitz　et al., A Theory of Inverse Light Transport, ICCV2005. 1-bounce 2-bounce 3-bounce + +... =

パーティシペィティングメディア [J.Stam 1995] p1 p2 p3 q d12 d23 p(q) 散乱による減衰のモデル フェーズ関数 散乱の異方性を表現 異方性係数：g 散乱係数 経路に沿った減衰 フェーズ関数 消滅係数 g>0 g=0 g<0 前方散乱 等方散乱 後方散乱

光線空間の分解 光線空間（L） シーン中の各点を通過する光線の強度分布を記述 T: ライトトランスポート行列により再帰的に表現 L0 ... ：光源から発せられる光線空間 ... L1= TL0 L2= TL1 Lk+1= TLk １次反射 （単一散乱） ２次反射 再帰的に表現される 高次の散乱成分 各反射回数ごとの光線空間の総和

光線空間の次元数 次元数の比較 本研究での問題設定 本研究 L(x,y,q) (q) (s,t) (q,f) (u,v) (x,y) (x,y,z) (q,f) (q) (x,y) 真空中：４次元 媒体中：５次元 厚みのない媒体：３次元 カメラ 容器に注いだ 半透明の液体 プロジェクタ

計測環境 カメラ (Point Grey Chameleon) プロジェクタ (3M MPro110) 55cm 水で薄めた牛乳 計測のための容器 プロジェクタ (3M MPro110) 12cm 27cm 12cm 撮影画像の例

単一散乱と多重散乱の分離 周波数特性の違いを利用 [Nayar 2006] 照明の空間的な高周波成分 高周波１次元ストライプパターンの照明 単一散乱：保存される 多重散乱：反射を繰り返すため失われる 高周波１次元ストライプパターンの照明 単一散乱：ポジ・ネガ投影で値が変化 多重散乱：同一の強度 単一散乱と 多重散乱が混在 多重散乱 単一散乱 高周波１次元 ストライプパターン

分離結果 = + = + 高周波照明 通常の照明 単一散乱 多重散乱 （低次の散乱を含む） dark bright

単一散乱の解析 純粋な単一散乱は指数関数的に減衰 指数関数の当てはめにより，消滅係数 st を推定 分離しない場合 （多重散乱を含む） 1200 600 800 400 指数関数の当てはめ 指数関数の当てはめ 400 200 観測値 分離した単一散乱光の強度 10 20 30 40 [mm] 10 20 30 40 [mm] 分離しない場合 （多重散乱を含む） 分離した場合 （単一散乱のみ）

問題点: レンダリングには膨大な計算時間が必要 多重散乱の解析 フォワードレンダリングに基づく散乱パラメータの推定 散乱係数（ss）と異方性係数（g）を適当な値に仮定 高次の散乱成分を再帰的にレンダリング 検証 ... L1 L2 L3 L4 L5 分離した 多重散乱 分離した 単一散乱 高次の散乱成分 レンダリング した多重散乱 問題点: レンダリングには膨大な計算時間が必要

２段階の効率的なレンダリング 第１段階: 各反射回数ごとの光線空間 (Lk)を生成 第２段階: 線形結合による高速レンダリング L L1 散乱係数を固定 (仮にss=1とする) 異方性係数のみを変化 (-1<=g<=1) 第２段階: 線形結合による高速レンダリング ss : 線形結合の係数 ss はレンダリング後でも変更可能 = +ss +ss2 +ss3 +ss4 +... L L1 L2 L3 L4 L5

反射回数ごとに分解 観測値 各反射成分の総和 1-bounce (単一散乱) 2-bounce 反射回数が増すにつれ， 3-bounce 1600 1400 観測値 各反射成分の総和 1200 1-bounce (単一散乱) 1000 2-bounce 反射回数が増すにつれ， ピーク位置が内部に移動 800 3-bounce 600 4-bounce 5-bounce 400 200 10 20 30 40 50 [mm]

ライトトランスポートの可視化 5-bounce 光線空間 6-bounce 4-bounce 3-bounce 1-bounce 観測値 dark bright

ライトトランスポートの可視化 観測値 光線空間 1-bounce 2-bounce 3-bounce 4-bounce 5-bounce

斜めから入射する場合 観測値 光線空間 1-bounce 2-bounce 3-bounce 4-bounce 5-bounce

まとめ 本研究の成果 制限 今後の課題 高周波照明による単一散乱と多重散乱の分離 光線空間を反射回数ごとに分解・解析 ライトトランスポートの可視化 制限 ３次元光線空間（厚みのない２次元媒体） 均一な媒体 今後の課題 定量的評価 ３次元物体 不均一な媒体 近赤外光の利用

ポスターの紹介 明日 7/28(水)午後の インタラクティブセッション２にて発表 - 学生さんの質問や裏話なども

提案手法の概要 厚みのない媒体に制限 周波数特性の違いに基づく散乱光の分離 多重散乱の解析 ３次元光線空間 均一な材質 １次元高周波照明 (x, y, q) 厚みのない媒体に制限 ３次元光線空間 均一な材質 周波数特性の違いに基づく散乱光の分離 １次元高周波照明 多重散乱の解析 線形結合による効率的なレンダリング 3-D light field +ss +ss2 +ss3 +ss4 +...

今後の展開 明日 7/28(水) 16:50-18:05 OS9: 光学的解析 OS9-3 「亀甲多面鏡を用いた半球状共焦点撮影」 50組の仮想カメラ・プロジェクタ群による半球状開口 散乱光解析のための強力な光学システム

人体計測との関係 薄 濃 透過光：X線CT 低次の散乱 （未解決） 拡散光：DOT 単一散乱 光学的な濃さ 多重散乱 （拡散光トモグラフィ） （ディフュージョン近似） 単一散乱 薄 光学的な濃さ 濃 透過光：X線CT 低次の散乱 （未解決） 拡散光：DOT （拡散光トモグラフィ）

高周波照明 [Nayar et al., SIGGRAPH2006] 物体表面への高周波照明 直接成分：拡散反射，鏡面反射 大域成分：相互反射，散乱など 高周波照明 直接成分 大域成分

ECCV2010 Jaewon Kim (MIT & KIST), Douglas Lanman (MIT), Yasuhiro Mukaigawa (MIT), Ramesh Raskar (MIT) Descattering Transmission via Angular Filtering

表面下散乱の解析 MIRU2008, 一般照明下での表面下散乱の解析 表面下散乱へのダイポールモデルの当てはめ 入力：１枚の撮影画像，幾何形状，照明 出力：散乱特性（ダイポールモデルのパラメータ） 既知 未知 レンダリング インバース レンダリング 反射特性 （BSSRDF） 幾何形状 照明 画像