All images are compressed.

Presentation on theme: "All images are compressed."— Presentation transcript:

1 All images are compressed.
ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史） All images are compressed.

2 ウェーブレットテクスチャ：ドベシィウェーブレットと反射モデルと円偏光板によるBRDF圧縮
宮崎大輔 柴田卓司 池内克史 （東京大学生産技術研究所） 池内研ポスドクの宮崎です。ウェーブレットテクスチャという題名で発表させていただきます。

3 VRモデル生成のための３つの要素 幾何情報 光学情報 環境情報 レンジデータ カラー画像 環境情報
光学情報　 本研究の背景には、現実の物体そっくりのコンピュータグラフィックスを生成したい，という需要の増加があります。そのような背景のもと、本研究では、現実物体を観測することにより、物体のデジタルモデルを生成するシステムを開発しました。このデジタルモデルを生成するためには３種類の情報が必要となってきます。（クリック）一つ目は幾何情報で、物体の３次元形状のことです。（クリック）二つ目は光学情報で、物体の色情報です。（クリック）三つ目は環境情報で、周囲の光源環境の情報です。これら３つの要素を考慮することにより、現実世界にあるようなデジタルモデルを作り出すことが可能となります。（クリック）本研究では、この３つの要素の中で、光学情報を取得する方法を提案いたしました。 環境情報 環境情報　 Introduction(1/4) Separation(2) Parameter(2) Wavelet(3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

4 モデルベーステクスチャ 物体の反射を数学的に定式化 反射パラメータ カラー画像 幾何モデル VRモデル 反射パラメータ推定 合成
物体の光学情報を取得するためのアプローチのひとつとして、物体の反射を数学的に定式化したものがあります。これは、物体表面で起こる反射を（数式を指差す）このような反射モデルであらわす方法です。まず、幾何モデルとカラー画像から、この反射モデルのパラメータを推定します。画像を生成する際には、求めたパラメータを使って（数式を指差す）この反射モデルで計算することにより、画像を生成します。このように、反射モデルを使って物体の見えのモデリングを行うアプローチを、われわれはモデルベーステクスチャと呼んでいます。 合成 Introduction(2/4) Separation(2) Parameter(2) Wavelet(3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

5 イメージベーステクスチャ 撮像された実画像のデータベースを保持 主成分分析など カラー画像 幾何モデル VRモデル 圧縮 合成
一方、反射モデルを使わず、撮影された画像そのものを利用するアプローチを、われわれはイメージベーステクスチャと呼んでいます。これは、幾何モデルのほかに、さまざまな視点から撮影したカラー画像をすべて保持しておく方法です。画像を生成する際には、画像情報そのものを使用して物体の画像を生成します。 圧縮 合成 Introduction(3/4) Separation(2) Parameter(2) Wavelet(3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

6 提案手法（ウェーブレットテクスチャ） モデルベーステクスチャ＋イメージベーステクスチャ カラー画像 幾何モデル VRモデル
今回提案する手法は、このモデルベーステクスチャとイメージベーステクスチャを組み合わせ、両者の長所を取り入れた手法です。まず、モデルベーステクスチャと同様に、物体の幾何モデルと、複数視点から得られたカラー画像から、反射モデルのパラメータを推定します。しかし、この反射モデルでは表現しきれない要素もどうしてもでてきてしまいます。そこでイメージベーステクスチャと同様に、撮影された画像情報そのものも保持することを考えます。モデルベーステクスチャにより、入力画像に近い画像は得られるので、その差分情報のみを保持すればいいことになります。その差分情報は小さい値になるため、効率的にデータ圧縮を行うことができます。本研究では、圧縮方法としてウェーブレット変換を用いました。画像を生成する際には、まず、反射パラメータをもとに反射モデルで画像を計算し、圧縮されたデータを展開して差分情報を付け加えることにより、画像を生成します。われわれはこの手法をウェーブレットテクスチャと呼んでいます。 反射パラメータ推定 差分を圧縮 合成 反射パラメータ ウェーブレット圧縮 Introduction(4/4) Separation(2) Parameter(2) Wavelet(3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

7 円偏光板による鏡面反射成分と拡散反射成分の分離
右円偏光板 右円偏光板 右円偏光 左円偏光 非偏光 光の反射には鏡面反射と拡散反射の２種類があります。鏡面反射と拡散反射はそれぞれ性質が異なるので、処理の前に、それぞれの成分を分離しておきます。本研究では、円偏光を使った分離手法を用いました。（左側の偏光板のあたりを指差す）今、光源の前に円偏光板を置くと、偏光板を通過した光は円偏光します。（鏡面反射を指差す）その光が物体に当たり、鏡面反射した光は、円偏光したままになります。（物体内部と拡散反射を指差す）一方、物体に当たった光の一部は物体の中に入り、色素にランダムに跳ね返り、物体の外へ拡散反射光として出てきます。これにより、拡散反射光は、非偏光な光になります。（カメラを指差す）カメラの前に偏光板を置き、それぞれの反射成分を観測すると、拡散反射光は偏光板を透過しますが、鏡面反射光は偏光板を透過しません。これを利用すれば、拡散反射成分と鏡面反射成分を分離することができます。 鏡面反射 拡散反射 Introduction(4) Separation(1/2) Parameter(2) Wavelet(3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

8 分離結果 通常の画像 拡散反射画像 鏡面反射画像
こちらが分離結果を表します。（左の画像を指差す）普通に撮影すると拡散反射も鏡面反射も観測されます。（真ん中の画像を指差す）円偏光を利用して反射成分を分離し、得られた拡散反射成分の画像がこちらで、（右の画像を指差す）分離された鏡面反射画像がこちらです。 Introduction(4) Separation(2/2) Parameter(2) Wavelet(3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

9 LambertianモデルとTorrance-Sparrowモデル
（拡散反射） Torrance-Sparrow （鏡面反射） 物体表面 入射光 法線 二等分ベクトル 視点 qr qi a 最小二乗法 [反射パラメータ] Kd: 拡散反射率 Ks: 鏡面反射率 s: 表面粗さ係数 次に、分離された拡散反射成分と鏡面反射成分から、反射を表す数学モデルのパラメータを推定します。（数式を指差す）本研究では、拡散反射のモデルとしてLambertianモデル、鏡面反射のモデルとしてTorrance-Sparrowモデルを使用します。ここに出てくる、θi、θr、α、は、（右の図を指差す）ここで定義されている角度です。光源方向と物体形状と視線方向は既知としているので、これらの角度はすでに分かっています。（左下を指差す）未知のパラメータは、拡散反射率Kdと、鏡面反射率Ksと、表面粗さ係数σです。これらのパラメータは最小二乗法により求めることができます。 Introduction(4) Separation(2) Parameter(1/2) Wavelet(3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

10 推定された反射パラメータ 拡散反射率 鏡面反射率 表面粗さ係数
推定された反射パラメータがこちらです。この図では、値が大きいほど明るく、値が小さいほど暗く表現しています。（真ん中と右を指差す）この２つの画像で、黒くなっている物体領域は、反射パラメータを推定できなかった部分を表します。反射パラメータが推定できなかった部分に関しては、周囲の点からの線形補間により求めます。 Introduction(4) Separation(2) Parameter(2/2) Wavelet(3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

11 差分 （真ん中の下を指差す）推定された反射パラメータを用いて生成した画像がこちらです。（左の下と上を指差す）まず、入力画像を幾何データの三角形ポリゴンごとに切り出します。（左の上と真ん中の上と右の上を指差す）入力画像の輝度とモデルベーステクスチャの輝度を引いた物がこちらになります。これが、反射モデルでは表現しきれない成分となります。 入力画像 レンダリング画像 差分 Introduction(4) Separation(2) Parameter(2) Wavelet(1/3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

12 データ圧縮の性能が良い，ドベシィウェーブレット(N=2)を使用
差分をウェーブレット圧縮 光学的要因 幾何学的要因 反射モデルに従わない材質 相互反射 幾何データの精度 カメラキャリブレーションの精度 差分も重要なので保持すべき このような差分が生じる理由としてはここに挙げたような物があります。光学的要因としては、反射モデルでは表現できない材質を持つ物体である場合や、相互反射の影響がある場合などが考えられます。幾何学的要因としては、三次元幾何データの精度や、二次元画像と三次元幾何データの対応関係を表す変換行列の精度などが考えられます。これらの差分も保持しておくことにより、写実性の高い画像を生成することが可能となります。しかし、差分は小さな値であり、全ての差分をそのまま保持すると、データ量の無駄が多くなってしまいます。そこで本研究では、その差分情報を圧縮します。本研究では、画像圧縮の精度が高いウェーブレット変換を使用します。ウェーブレット関数としては、ハールウェーブレットなどよりも画像圧縮の精度が高いドベシィウェーブレットを今回は使用しました。 データ圧縮の性能が良い，ドベシィウェーブレット(N=2)を使用 Introduction(4) Separation(2) Parameter(2) Wavelet(2/3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

13 画像合成 レンダリング画像 圧縮された差分 合成画像
画像を生成するプロセスはここに示した通りになります。（左を指差す）まず、求めた反射パラメータを使い、反射モデルにより画像を生成します。（真ん中を指差す）次に、圧縮された差分情報を逆ウェーブレット変換により展開します。（上を指差す）これらを足し合わせて、目的の画像を生成します。これらは反射成分ごと、ポリゴンごとに処理が行われ、（右下を指差す）最終的に幾何データに貼り付けることにより、画像の生成が行われます。 レンダリング画像 圧縮された差分 合成画像 Introduction(4) Separation(2) Parameter(2) Wavelet(3/3) Experiment(6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

14 実験装置 レンジセンサ 光源 物体 カメラ 偏光板 回転台
実験装置としては、この図にあるようなものを使います。（レンジセンサを指差す）幾何データはレーザレンジセンサにより取得します。（物体を指差す）対象とする物体は回転台の上に置き、物体を回転させ、様々な方向から物体を撮影します。（光源を指差す）光源の前に偏光板を置き、偏光した光を物体に照射します。（カメラを指差す）カメラの前にも偏光板を置き、拡散反射成分と鏡面反射成分の分離を行います。 回転台 Introduction(4) Separation(2) Parameter(2) Wavelet(3) Experiment(1/6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

15 レンダリング結果 通常の画像 提案手法によるレンダリング画像(2%)
レーザレンジセンサにより取得された幾何データと、偏光により分離された拡散反射成分と鏡面反射成分の複数枚の画像データを入力として、提案手法を適用します。（左を指差す）こちらが通常の画像で、（右を指差す）こちらが提案手法で生成された画像です。５０分の１に圧縮されたデータでも、現実に近い画像を生成することができます。 Introduction(4) Separation(2) Parameter(2) Wavelet(3) Experiment(2/6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

16 圧縮率ごとのレンダリング精度 通常の画像 5%のデータ を使用した 合成画像 1.5%のデータ を使用した 合成画像
圧縮率の違いによる画像生成の精度を比較した例がこちらです。（左を指差す）こちらが通常の画像で、（真ん中を指差す）こちらは95%のデータを削減して生成された画像、（右を指差す）こちらは98.5%のデータを削減して生成された画像です。（真ん中と右を指差す）こちらとこちらの拡大画像を見比べてみれば分かるとおり、データを多く使ったほうが当然、現実の画像に近いことが分かります。（右を指差す）しかし、遠くから見る限り、少ないデータでも十分、写実性の高い画像を生成することができることがわかります。 Introduction(4) Separation(2) Parameter(2) Wavelet(3) Experiment(3/6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

17 モデルベーステクスチャ によるレンダリング画像
モデルベーステクスチャとの比較 通常の画像 モデルベーステクスチャ によるレンダリング画像 提案手法による レンダリング画像(5%) 続いて、提案手法とモデルベーステクスチャとの比較を行いました。（左を指差す）こちらが通常の画像、（真ん中を指差す）こちらがモデルベーステクスチャによる画像、（右を指差す）こちらが提案手法による画像です。（真ん中を指差す）反射パラメータのみを利用し、差分情報を使用しない場合は、画質がよくないことが分かります。（右を指差す）提案手法は、さらに差分情報も追加しているため、画質が向上します。 Introduction(4) Separation(2) Parameter(2) Wavelet(3) Experiment(4/6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

18 イメージベーステクスチャとの比較(2%) イメージベーステクスチャ 分離なし・反射モデル不使用 画質(PSNR)=33dB 提案手法
分離あり・反射モデル使用 通常の画像 また、提案手法とイメージベーステクスチャを比較した例がこちらです。イメージベーステクスチャの実験結果では、反射モデルを使用せず、画像データをそのまま圧縮しています。提案手法は、反射モデルで生成した画像と入力画像との差分情報を圧縮しています。イメージベーステクスチャでの画質は33dBで、提案手法は38dBですので、提案手法のほうが画質がよい結果が得られていることが分かります。（右を指差す）誤差の画像をみていただければ分かるのですが、イメージベーステクスチャでは、全体的に誤差が発生していることがわかりますが、提案手法では、部分的にしか誤差が発生していないことがわかります。これは、反射モデルで表現できる部分に関しては誤差があまり発生せず、反射モデルで表現できない部分だけに誤差が発生していることを意味しています。これにより、反射モデルも使用したほうが画質が向上するわけです。 画質(PSNR)=38dB 結果 誤差 Introduction(4) Separation(2) Parameter(2) Wavelet(3) Experiment(5/6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

19 全周の動画(20%) こちらは５分の１に圧縮されたデータの例です。鏡面反射成分もうまく再現されていることが分かります。この実験結果では、入力画像として６０枚使っています。元のデータ量はファイルサイズが186MBですが、圧縮率20%のデータで42MB、圧縮率2%のデータで10MBという結果になりました。 Introduction(4) Separation(2) Parameter(2) Wavelet(3) Experiment(6/6) Conclusion(1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

20 まとめ モデルベーステクスチャ イメージベーステクスチャ 提案手法（ウェーブレットテクスチャ） ○ハイライト成分の再現性に優れている
○データ量が小さい ×反射モデルで表現できない物体もある ○実画像による写実性 ×ハイライト成分の再現が難しい ×データ量が大きくなる 提案手法（ウェーブレットテクスチャ） 提案手法であるウェーブレットテクスチャは、モデルベーステクスチャとイメージベーステクスチャの利点を併せ持った手法となります。提案手法は、反射モデルも使用するため、ハイライト成分の再現も可能となっています。また、モデルベーステクスチャで生成した画像と入力画像との差分を保持し、それも利用して画像を生成するため、反射モデルで表現できない物体でも差分情報から画像を生成することができます。また、その差分情報は小さな値ばかりであるため、効率的なデータ圧縮により、データ量を小さく抑えることが可能です。すなわち，モデルベーステクスチャとイメージベーステクスチャを組み合わせることにより、データ量が小さく、画質の高い画像を生成する手法を開発することに成功しました。 ○ハイライト成分の再現性に優れている ○反射モデルで表現できない物体でも実画像により表現可能 ○データ量が小さい Introduction(4) Separation(2) Parameter(2) Wavelet(3) Experiment(6) Conclusion(1/1) ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）

21 ウェーブレットテクスチャ（宮崎大輔，柴田卓司，池内克史）
Daisuke Miyazaki 2006 Creative Commons Attribution 4.0 International License. 宮崎大輔, 柴田卓司, 池内克史, "ウェーブレットテクスチャ：ドベシィウェーブレットと反射モデルと円偏光板によるBRDF圧縮," ３Ｄ映像（三次元映像のフォーラム）, Vol.20, No.4, pp.21-29, 東京, 2006年11月 以上で発表を終わります。ありがとうございました。