Imagire Day 2009.

Slides:



Advertisements
Similar presentations
画像処理・実習 第五回: 空間フィルタ (特徴抽出,ラプラシアン,鮮鋭化) 東海大学 情報理工学部情報メディア学科 濱本和彦.
Advertisements

画像処理・実習 第七回: 2値化画像(2値化処理) 東海大学 情報理工学部情報メディア学科 濱本和彦.
画像処理 05A1027 後藤航太. 研究課題は openLDAP についてでしたが 今回から画像処理に変更しました。 変更した理由 自分が持っていたイメージと実際の openLDAP が違ったので変更を決 めま した。 画像処理に興味を持ったので これからは画像処理を研究課題として やっていきます。
UGUI を 使ってみよう ( 導入・紹介?編 ) 1. uGUI とは O Unity 4.6 から使えるようになった UI (ユー ザーインターフェース)システム O 8 月: Unity4.6 β uGUI 試用版公開 O 11 月: Unity4.6 uGUI 正式版公開 正式版公開で、 機能紹介ブロ.
Imagire Day CEDEC 2009続・レンダリスト養成講座 田村 尚希 川瀬 正樹 シリコンスタジオ株式会社.
Determining Optical Flow. はじめに オプティカルフローとは画像内の明る さのパターンの動きの見かけの速さの 分布 オプティカルフローは物体の動きの よって変化するため、オプティカルフ ローより速度に関する情報を得ること ができる.
電子透かしにおける マスキング効果の主観評価
ゲーム開発者向け最新技術論文の解説・実装講座
豊洲 304教室 15 JULY コンピュータグラフィックス 2008年度版.
情報処理演習 (9)グラフィックス システム科学領域 日浦 慎作.
プログラミング演習3 李 亜民クラス 第2回 ラスタライズ.
Chapter11-4(前半) 加藤健.
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
パノラマ動画像モデルによる 仮想空間表現システムの研究
ロボットビジョン(ロボットの視覚能力)のための デジタル画像処理
Pose Tracking from Natural Features on Mobile Phones
ラスタグラフィックス (raster graphics)
HTML 5の表現力 楽しいアプリ制作の会 TWorks 蜜葉.
11章 ボリュームレンダリングを学ぶ 本来は目に見えない内部情報をレンダリングし可視化する技術
第1章 第1節 情報のディジタル化のしくみ 4 音の表現 5 画像の表現
F5 キーを押すか、または [スライド ショー] > [最初から] をクリックして、コースを開始してください。
第1章 第1節 情報のディジタル化のしくみ 4 音の表現 5 画像の表現
アナログとディジタル 五感 視覚、聴覚、味覚、臭覚、触覚 埼玉県立越ヶ谷高等学校・情報科.
画像処理工学 2011年10月27日 担当教員 北川 輝彦.
図形描画の基本図形(四角)を組み合わせて、家の形を作ります。
続・レンダリスト養成講座 シリコンスタジオ株式会社 川瀬 正樹.
経営情報 #1 デジタル表現 / 2003 (春) 安田豊 1.
符号化のための重み付きジョイントバイラテラルフィルタを用いた 奥行き画像超解像
「データ学習アルゴリズム」 第3章 複雑な学習モデル 3.1 関数近似モデル ….. … 3層パーセプトロン
時空間データからのオブジェクトベース知識発見
Copyright 2011 アイデアクラフト 開米瑞浩 All rights reserved.
プロセス制御工学 6.PID制御 京都大学  加納 学.
首都大学東京 都市教養学部数理科学コース 関谷博之
ピクセル レス サンプリング 高桑昌男 国際情報科学芸術アカデミー.
画像の拡大と縮小.
高山建志 五十嵐健夫 テクスチャ合成の新たな応用と展開 k 情報処理 vol.53 No.6 June 2012 pp
金沢大学 工学部 情報システム工学科3年 岩淵 勇樹
計算量理論輪講 岩間研究室 照山順一.
フォントは「メイリオ」が一番おすすめ 可視性重視でつられたフォント Windowsに標準搭載 太字(Bold)に対応
線形フィルタと畳み込み積分 マスクによる画像のフィルタリング 1.入力画像中の関心の画素のまわりの画素値
CG講座 裏 Mental-ray編.
OpenMPハードウェア動作合成システムの検証(Ⅰ)
画像処理 基礎.
圧倒的な情報量!! フルデジタル業務の必須アイテム 高解像度4Kディスプレイのご提案
定兼邦彦 今井浩 東京大学理学系研究科 情報科学専攻
画像処理工学 2013年1月23日 担当教員 北川 輝彦.
OpenGLライブラリを用いた3次元フラクタルの描画
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第二回 演習課題
高度情報演習1C 実践 画像処理プログラミング 第二回 演習課題
Computer Graphics 第10回 レンダリング(4) マッピング
3次元構築アプリケーションにおける3D表示(2)
Poisson Image Editing SIGGRAPH 2003
迷子問題を考慮した 地図閲覧システムの構築
東京農業大学 東京情報大学 附属第一高等学校・中等部 附属第二高等学校 附属第三高等学校・中等部
可視面・不可視面の判定方法と隠れ面(不可視面)の消去法について述べる.
テキスト 1 行目 テキスト 2 行目 テキスト 3 行目 (初級) 森の背景の上にフェード インするアニメーション化されたキャプション
ここに 表題や引用文が入る 背景への図の使用とキャプションへのテクスチャの適用 (中級)
SystemKOMACO Jw_cad 基本操作(3) Ver.1
流速ベクトル.
パソコン.
ベイズ最適化 Bayesian Optimization BO
アナログとデジタル.
自己組織化マップ Self-Organizing Map SOM
プロジェクト演習Ⅳ・Ⅵ インタラクティブゲーム制作
画像処理工学 2011年12月1日 担当教員 北川 輝彦.
Poisson Image Editing SIGGRAPH 2003
ビデオ ビデオのクイック リファレンス ビデオ コントロールを使って表示する Lync 2013 クイック リファレンス
スライドの終わりまでテキストが繰り返しスクロールされます • スライドの終わりまでテキストが繰り返しスクロールされます •
サンプル見出し テキスト 1 行目 テキスト 2 行目 テキスト 3 行目 (中級) 図の背後でタイトルを移動させるアニメーション効果
PowerPoint の基本操作 情報機器の操作 (e).
Presentation transcript:

Imagire Day 2009

続・レンダリスト養成講座 シリコンスタジオ株式会社 川瀬 正樹

アンチ 縮小バッファアーティファクト

コンテンツ 縮小バッファ 縮小バッファアーティファクト 目標 縮小バッファブラー マッハバンド 曲線補間による拡大 縮小バッファ拡大ブラー 被写界深度エフェクトへの応用 縮小ブレンドバッファPCF

続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト

縮小バッファの背景 近年のCG技法はピクセル負荷が高い ⇒フィルがボトルネックとなることが多い ポストエフェクト 大量の半透明パーティクル 数十回に及ぶ全画面の塗りつぶし 大量の半透明パーティクル ⇒フィルがボトルネックとなることが多い

縮小バッファの概要 フレームバッファより小さいサイズで処理 塗りつぶし面積を小さくすることで高速化 ½×½ なら4倍高速に処理可能 ¼×¼ なら16倍高速に処理可能

縮小バッファの特徴 メリット デメリット 面積に応じて処理が高速化 固定のオーバヘッド 解像度不足によるアーティファクトの発生 縮小/拡大処理など 解像度不足によるアーティファクトの発生

縮小バッファに向いた処理 フィルがネックとなる処理 低解像度化による問題が目立たないもの 典型的な使い方 比較的表面化しにくいもの ポストエフェクト 半透明描画(特にパーティクル) etc.

続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト

縮小バッファのアーティファクト 低解像度に起因する画質低下 情報量が少ない状態から拡大するため 縮小バッファは本質的にこの問題をもつ

アーティファクトの例 グレアエフェクトの場合 縮小バッファでグレア生成 バイリニア補間でフレームバッファサイズに拡大

グレア生成結果(1/8×1/8サイズ)

バイリニア補間による拡大

グレアエフェクトの例 さまざまな解像度で生成したグレア 縮小バッファのサイズ 1/2×1/2 1/4×1/4 1/8×1/8

1/2×1/2

1/4×1/4

1/8×1/8

解像度不足によるエイリアス 1/2 縮小バッファ 1/4 縮小バッファ 1/8 縮小バッファ

鋭さ/きめ細かさの表現力低下 1/2 縮小バッファ 1/4 縮小バッファ 1/8 縮小バッファ

1/8×1/8 別のタイプのグレア

マッハバンド現象 格子状に明るい線(帯)や暗い線があるように見える

縮小バッファアーティファクト 解像度不足によるエイリアス 鋭さ/きめ細かさの表現力低下 マッハバンド etc. 縮小バッファが小さいほど目立つ

続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト 目標 続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト

動機 縮小バッファはとにかく画質が低い! できるだけ小さい縮小バッファを使いたい この低解像度感をなんとかしたい! 高速化のため 小さい縮小バッファほどアーティファクトが目立つ 縮小バッファのサイズを視認させたくない

目標とするところ アーティファクトを軽減したい パフォーマンス低下は最小限で 解像度が低いため本質的な解決は不可能 基本的にはごまかし処理となる パフォーマンス低下は最小限で あまり遅いと縮小バッファの意味がない ⇒縮小バッファの解像度を上げる方がよい

続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト 縮小バッファブラー 続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト

アーティファクトを防ぐには もっとも簡単な方法 縮小バッファのエフェクト結果を少しぼかす ぼかしフィルタ 拡大(アップサンプル)前にブラーをかける アップサンプル後のブラーは負荷が高いため フレームバッファサイズにバイリニア拡大

グレア生成結果(1/8×1/8サイズ)

わずかなぼかし処理(1/8サイズ)

バイリニアで最終サイズに拡大

拡大アルゴリズムの比較 1/8×1/8 サイズ縮小バッファでグレア生成 バイリニア補間による拡大 縮小バッファブラーバイリニア補間拡大 微妙にぼかしてからバイリニア補間で拡大

バイリニア補間による拡大

縮小バッファブラー後バイリニア拡大 縮小バッファブラーバイリニア補間拡大

縮小バッファブラーの効果 空間周波数の高い領域 細部がさらにぼけている アーティファクトはやや軽減される バイリニア補間 縮小バッファブラー

縮小バッファブラーの効果 空間周波数の低い領域 マッハバンドがやや目立たなくなる バイリニア補間 縮小バッファブラー

縮小バッファブラーの評価 画質面での評価 速度面での評価 アーティファクトはやや軽減されている 細部がさらにぼけてしまっている 負荷は極めて少ない 縮小バッファサイズでの極小規模なブラー エフェクト全体と比較するとほぼ負荷にならない

縮小バッファブラーの評価 メリットとデメリットが両方目立つ 強くぼかすとアーティファクトはさらに軽減できる ただしさらに細部がぼけてしまう バイリニア補間 縮小バッファブラー 縮小バッファブラー(強)

縮小バッファブラーの評価 ⇒実用性は微妙

続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト マッハバンド 続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト

視覚の特性 明るさの変化を強調して知覚する 典型的なケース 変化する場所を実際の差以上に強く感じる 明るさが非連続 明るさの変化率(一階微分)が非連続

シュブルール錯視 明るさが非連続に変化 隣接する色との差が強調されて見える このような階調変化は このように知覚される 境界部分の輝度差が強調

マッハバンド 明るさが連続でも滑らかに見えにくい 明るさの階調が変化している場合 傾斜の終端部分の外側に本来存在しない明るさの帯があるように見える 本来より 暗い帯 本来より 明るい帯 このような階調変化は このように知覚される 本来より 暗い帯 本来より 明るい帯

バイリニアに補間によるマッハバンド バイリニア補間で拡大した画像 明るさは連続 変化率は非連続 折れ線のような変化 このような階調変化 このように知覚 グレアに格子状の輝線や暗線が感じられる

縮小バッファブラーの効果 勾配差の軽減 知覚の変化 画像の変化 バイリニア補間 縮小バッファブラー

縮小バッファブラーの効果 変化率はややなだらかになる 明るさ変化(折れ線)の性質は変わらない マッハバンドはやや軽減される 本質的な軽減策にはなっていない 目立ちにくくなるがしっかり残っている

マッハバンドを防ぐには 階調が変化する場所を滑らかに 明るさの変化(折れ線)の間隔を狭く 少なくとも明るさの変化率が連続 または C1級以上滑らかであること つまり折れ線になっていないこと または 明るさの変化(折れ線)の間隔を狭く たとえ折れ線でも間隔が狭ければ目立ちにくい

続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト 曲線補間による拡大 続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト

より高次(曲線)の補間はどうか? バイキュービック(Bi-cubic)補間 n次ランツォシュ(Lanczos-n)補間 etc.

補間関数 Bi-linear Bi-cubic Lanczos-2 Lanczos-3

拡大アルゴリズムの比較 1/8×1/8 サイズ縮小バッファでグレア生成 バイリニア補間による拡大 縮小バッファブラーバイリニア補間拡大 バイキュービック補間による拡大

バイリニア補間(1/8×1/8サイズ)

バイキュービック補間(1/8サイズ)

縮小バッファブラー(1/8サイズ) 縮小バッファブラーバイリニア補間拡大

バイキュービック補間(1/8サイズ)

バイキュービック補間による効果 画像の性質によっては大きな効果 空間周波数の高い領域 細部が綺麗に拡大される バイリニア補間

バイキュービック補間による効果 エッジ強調の特性をもつ 変化のなだらかな領域では逆効果 複数ピクセルにわたるグラデーション バイリニア補間

バイキュービック補間の評価 空間周波数の高い領域では効果的 空間周波数の低い領域では逆効果 縮小バッファブラーよりも遥かによい結果 細部の再現力は高い 空間周波数の低い領域では逆効果 複数ピクセルにわたるなだらかなグラデーション エッジ強調の特性が悪い方向に発生 マッハバンドが悪化

マッハバンド悪化の改善策 バイキュービックやランツォシュのエッジ強調 グレアエフェクトには不向き ⇒正規分布のような関数がよい Bi-cubic Gaussian

拡大アルゴリズムの比較 1/8×1/8 サイズ縮小バッファでグレア生成 バイリニア補間による拡大 縮小バッファブラーバイリニア補間拡大 バイキュービック補間による拡大 ガウス補間による拡大

バイリニア補間(1/8×1/8サイズ)

ガウス補間(1/8サイズ)

縮小バッファブラー(1/8サイズ) 縮小バッファブラーバイリニア補間拡大

ガウス補間(1/8サイズ)

バイキュービック補間(1/8サイズ)

ガウス補間(1/8サイズ)

ガウス補間による効果 空間周波数の高い領域 アーティファクトは軽減されている 若干ぼけている バイリニア補間 ガウス補間

ガウス補間による効果 空間周波数の低い領域 非常に高い効果 マッハバンドは解消されている バイリニア補間 ガウス補間

ガウス補間の評価 アーティファクト軽減に高い効果 マッハバンドも解消 細部は若干ぼけている ほぼ理想的な結果を得られている 問題になるほどではない ほぼ理想的な結果を得られている

曲線補間の評価 曲線補間全般での速度評価 非常に負荷が高い バイリニア補間と異なり拡大負荷が高い フレームバッファ解像度の多サンプル

曲線補間の評価 関数によっては画質は非常に高い よい結果を得るための負荷が非常に高い ⇒トータルではあまり実用的とはいえない グレアにはガウス補間が理想的 よい結果を得るための負荷が非常に高い ⇒トータルではあまり実用的とはいえない

続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト 縮小バッファ拡大ブラー 続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト

縮小バッファを拡大後にブラー 拡大後ブラーなら大きな効果が期待できる 少し拡大してからブラーならどうか? フレームバッファサイズでのブラーは負荷が高い ⇒縮小バッファの解像度を上げるべき 少し拡大してからブラーならどうか? 2倍程度にバイリニアで拡大してからブラー

2倍程度に拡大後ブラー 負荷があまり高くない 縮小バッファブラーよりもクォリティが高い 細部のぼけ方が比較的少ない より高解像度でのブラーのため バイリニアによる輝度の折れ線の幅がせまくなる マッハバンドにも効果が期待できる 勾配の軽減 知覚の変化

縮小バッファ拡大ブラー エフェクト結果縮小バッファを倍サイズに拡大 わずかにブラーをかける フレームバッファサイズまでバイリニア拡大

グレア生成結果(1/8×1/8サイズ)

バイリニアで倍に拡大(1/4サイズ)

わずかなぼかし処理(1/4サイズ)

バイリニアで最終サイズに拡大

拡大アルゴリズムの比較 1/8×1/8 サイズ縮小バッファでグレア生成 バイリニア補間による拡大 縮小バッファブラーバイリニア補間拡大 バイキュービック補間による拡大 ガウス補間による拡大 バイリニア拡大ブラーバイリニア拡大

バイリニア補間(1/8×1/8サイズ)

縮小バッファ拡大ブラー(1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

バイキュービック補間(1/8サイズ)

縮小バッファ拡大ブラー(1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

縮小バッファブラー(1/8サイズ) 縮小バッファブラーバイリニア補間拡大

縮小バッファ拡大ブラー(1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

ガウス補間(1/8サイズ)

縮小バッファ拡大ブラー(1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

拡大ブラーの効果 空間周波数の高い領域 細部が綺麗に拡大される ややぼけが強い 拡大前のブラーほどではない バイリニア補間 拡大ブラー

拡大ブラーの効果 空間周波数の低い領域 滑らかさが改善されている マッハバンドが改善されている バイリニア補間 拡大ブラー

GPU実装 バイリニアで2倍拡大後に小規模ブラー

バイリニアで拡大後にブラー処理 バイリニアで2倍に拡大して 小規模なブラーを適用 ターゲット(処理中の)ピクセル 縮小バッファテクセル(ソーステクスチャの各テクセル) テクスチャフェッチ座標 バイリニアの結果サンプリングされるテクセル

GPU実装時の工夫 拡大時に周辺テクセルをサンプル ⇒拡大と同時にブラーを適用できる 通常の拡大では1テクスチャフェッチ(4サンプル) ⇒周辺を4テクスチャフェッチ(9サンプル以上) オフセット量でブラーの程度を調節できる ⇒拡大と同時にブラーを適用できる ブラーパスを省略できる 2倍サイズのバッファを一枚節約できる

拡大時に周辺テクセルをサンプル バイリニアによる拡大 周辺をサンプリング オフセットでブラー量調整 ターゲット(処理中の)ピクセル 縮小バッファテクセル(ソーステクスチャの各テクセル) テクスチャフェッチ座標 バイリニアの結果サンプリングされるテクセル

最終結果の画質比較 実際のグレア合成結果の比較 フレームバッファとの合成 非線形トーンマップ

バイリニア補間との比較

バイリニア補間のみ(1/8×1/8)

縮小バッファ拡大ブラー利用(1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

拡大図:バイリニア補間のみ(1/8)

拡大図:拡大ブラー利用(1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

解像度によるバイリニアとの比較

バイリニア補間のみ(1/8×1/8)

縮小バッファ拡大ブラー利用(1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

バイリニア補間のみ(1/4×1/4)

縮小バッファ拡大ブラー利用(1/4) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

バイリニア補間のみ(1/2×1/2)

拡大図:バイリニア補間のみ(1/8)

拡大図:拡大ブラー利用(1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

拡大図:バイリニア補間のみ(1/4)

拡大図:拡大ブラー利用(1/4) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

拡大図:バイリニア補間のみ(1/2)

まとめて比較 1/8バイリニアのみ 1/8拡大ブラー利用

まとめて比較 1/8バイリニアのみ 1/8拡大ブラー利用 1/4バイリニアのみ 1/4拡大ブラー利用

拡大ブラーの効果 最終結果での比較 空間周波数の高い領域 ジャギーの軽減 バイリニア補間のみ 拡大ブラー利用

拡大ブラーの効果 最終結果での比較 空間周波数の低い領域 マッハバンドの改善 バイリニア補間のみ 拡大ブラー利用

拡大ブラーの効果 最終結果での比較 空間周波数の高い領域 ジャギーの軽減 バイリニア補間のみ 拡大ブラー利用

速度比較

速度比較 環境 PS3 最終(ディスプレイ)解像度 D4(1280×720) シーンレンダリング/エフェクトフォーマット RGBA16F

速度比較 グレアエフェクト グレアエフェクトに関わる合計時間を計測 ブルーム/スター/ゴースト/残像 etc. 合計40パス程度の塗りつぶし処理 グレアエフェクトに関わる合計時間を計測 グレアエフェクトの生成時間 バッファの縮小/拡大のオーバヘッド合計 単位はミリ秒で小数点以下3桁有効 4桁目を四捨五入

速度比較(1/8×1/8サイズ) 1/8×1/8 サイズ縮小バッファ バイリニア補間拡大のみ 拡大ブラー利用 1.908 ms

速度比較(1/8×1/8サイズ) 0.051 ms 1/8×1/8 サイズ縮小バッファ ⇒拡大ブラーによって増加した負荷 1/8バイリニアのみ 1/8拡大ブラー利用

速度比較(1/4×1/4サイズ) 1/4×1/4 サイズ縮小バッファ バイリニア補間拡大のみ 拡大ブラー利用 3.957 ms

速度比較(1/4×1/4サイズ) 0.128 ms 1/4×1/4 サイズ縮小バッファ ⇒拡大ブラーによって増加した負荷 1/4バイリニアのみ 1/4拡大ブラー利用

評価まとめ

縮小バッファ拡大ブラーの評価 画質面での評価 速度面での評価 ガウス補間に近いレベルの効果 縮小バッファが小さいほど大きい効果 細部の再現とマッハバンド軽減でやや劣る程度 縮小バッファが小さいほど大きい効果 大きな縮小バッファでは効果が少ない 全体的にややぼけた画像となる グレアエフェクトの特性上あまり大きな問題はない 速度面での評価 縮小バッファが小さければ負荷は少ない 縮小バッファが大きいとやや負荷が高い

縮小バッファ拡大ブラーの評価 その他 ⇒現状で実用的 縮小バッファの2倍サイズ(面積4倍)のバッファが別途必要になる 縮小バッファが小さい場合特に有用 1/4 程度以下ならコストパフォーマンスが高い 1/2 程度以上では効果が少なく遅い ⇒現状で実用的

縮小バッファ拡大ブラーの課題 本当のアンチエイリアスとしての効果はない ⇒動画では時間方向でのモアレが発生 ぼかしてごまかしているだけ 縮小バッファの本質的な問題 ガウス補間などでも改善できない ⇒動画では時間方向でのモアレが発生 輝点が明滅するような効果 静止画のジャギーほどは目立たない

縮小バッファ拡大ブラーの改善策 速度に余裕がある場合の改善策 ブラーを2段階程度のバッファサイズで実行 ブラーをガウシアンブラーなどに変更 縮小バッファ 2倍化/ブラー 2倍化/ブラー ブラーをガウシアンブラーなどに変更 ガウス半径はかなり小さめでよい

続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト 被写界深度エフェクトへの応用 続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト

被写界深度エフェクトへの応用 特定のアルゴリズムで利用できる ボケ画像を生成して最後に合成するタイプ ギャザー/スキャッターベースは問わない 1つまたは複数のボケ画像を生成 それらを合成して最終画像を生成 ギャザー/スキャッターベースは問わない 縮小バッファを生成/合成するタイプなら利用可能

フラットなボケのアーティファクト リアリティのあるフラットなボケ表現 縮小バッファアーティファクトが目立ちやすい ガウスブラーよりもエッジのジャギーが目立つ 滑らかなガウスブラー フラットな円形ブラー フラットな六角形ブラー

フラットなボケの生成例 余談

フラットなボケの生成例 直径9ピクセルの円形絞り 25サンプル(バイリニアにより計81サンプル) 円形ブラー

9×9ディスクブラー バイリニア補間を活用して円形を構築 サンプルポイントの調整 面積と目的の形を考慮して重みを調整 この図は正確ではない ターゲット(処理中の)ピクセル テクスチャフェッチ座標

ディスクブラー 右は工夫してさらにサンプル数を増やした例 直径17ピクセルの円形絞り 9×9円形ブラー 17×17円形ブラー

ディスクブラー バイリニア補間で拡大した結果 9×9円形ブラー 17×17円形ブラー

フラットなボケの生成例 六角絞り 平行四辺形を3つ生成して中央点と合成 六角絞りブラー

六角絞りの生成例(1‐1) 六角絞り 再帰的に2パスずつで各平行四辺形を生成

六角絞りの生成例(1‐2) 六角絞り 再帰的に2パスずつで各平行四辺形を生成

六角絞りの生成例(1終了) 六角絞り 再帰的に2パスずつで各平行四辺形を生成

六角絞りの生成例(2‐1) 六角絞り 再帰的に2パスずつで各平行四辺形を生成

六角絞りの生成例(2‐2) 六角絞り 再帰的に2パスずつで各平行四辺形を生成

六角絞りの生成例(2終了) 六角絞り 再帰的に2パスずつで各平行四辺形を生成

六角絞りの生成例(3‐1) 六角絞り 再帰的に2パスずつで各平行四辺形を生成

六角絞りの生成例(3‐2) 六角絞り 再帰的に2パスずつで各平行四辺形を生成

六角絞りボケの生成例(3終了) 六角絞り 再帰的に2パスずつで各平行四辺形を生成

六角絞りボケの生成例(最終パス) 生成した3つの平行四辺形と中央点を合成 計4パスで完了

六角絞りボケの生成例 六角絞り(任意サイズで可能)

六角絞り高速版 7サンプルの再帰(ピンポンブラー)で生成 色の濃い部分がサンプル点 重みを調節して中央部をフラットに

六角絞り高速版 7サンプルの再帰 ややエッジ部分が暗くなる サイズに制限あり 六角絞りブラー

拡大ブラーの適用 本題に戻って・・・

拡大と同時にブラーを適用するサンプリング例 拡大ブラーの適用 生成したボケ画像に対してブラーを適用 2倍解像度へ拡大と同時に小規模なブラー 各ボケ画像ごとに適用する ある程度より大きな縮小バッファでは不要 効果が少なく負荷が高い 拡大と同時にブラーを適用するサンプリング例

解像度によるバイリニアとの比較

バイリニア補間のみ(1/4×1/4)

拡大ブラー利用(1/4×1/4) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

バイリニア補間のみ(1/8×1/8)

拡大ブラー利用(1/8×1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

バイリニア補間のみ(1/16×1/16)

拡大ブラー利用(1/16×1/16) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

解像度によるバイリニアとの比較 別のシーンの画像

バイリニア補間のみ(1/4×1/4)

拡大ブラー利用(1/4×1/4) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

バイリニア補間のみ(1/8×1/8)

拡大ブラー利用(1/8×1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

バイリニア補間のみ(1/16×1/16)

拡大ブラー利用(1/16×1/16) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

その他の画像比較

六角絞りバイリニア補間のみ(1/8)

六角絞り拡大ブラー利用(1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

バイリニア補間のみ(1/16×1/16)

拡大ブラー利用(1/16×1/16) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

17×17円形ブラー バイリニア補間のみ(1/4×1/4)

17×17円形ブラー 拡大ブラー利用(1/4×1/4) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

17×17円形ブラー バイリニア補間のみ(1/8×1/8)

17×17円形ブラー 拡大ブラー利用(1/8×1/8) バイリニア補間で2倍に拡大ブラーバイリニア補間拡大

拡大ブラーの効果 1/4×1/4 サイズ縮小バッファ バイリニア補間のみ 拡大ブラー利用

拡大ブラーの効果 1/8×1/8 サイズ縮小バッファ バイリニア補間のみ 拡大ブラー利用

拡大ブラーの効果 1/16×1/16 サイズ縮小バッファ バイリニア補間のみ 拡大ブラー利用

拡大ブラーの効果 1/4×1/4 サイズ縮小バッファ バイリニア補間のみ 拡大ブラー利用

拡大ブラーの効果 1/8×1/8 サイズ縮小バッファ バイリニア補間のみ 拡大ブラー利用

拡大ブラーの効果 1/16×1/16 サイズ縮小バッファ バイリニア補間のみ 拡大ブラー利用

被写界深度エフェクトでの評価 画質面での評価 速度面での評価 アーティファクトをかなり軽減できる 全体的にややぼけた画像となる エッジ部のジャギーなど 全体的にややぼけた画像となる 目的がピンボケなのでほとんど問題はない 速度面での評価 グレアエフェクトよりもやや負荷が高い ボケ画像ごとに適用するため

被写界深度エフェクトでの評価 効果は非常に大きい グレアよりもやや負荷が高い ⇒実用的 特に縮小バッファ解像度が低い場合 1/4 程度以下ならコストパフォーマンスが高い 1/2 程度以上では効果が少なく遅い グレアよりもやや負荷が高い ⇒実用的

続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト 縮小ブレンドバッファPCF 続・レンダリスト養成講座 アンチ・縮小バッファアーティファクト

縮小ブレンドバッファ 縮小バッファを利用した半透明描画 参照: Kawase, Masaki. “DOUBLE-S.T.E.A.LにおけるリアルタイムCG表現技法”, CEDEC 2002, 2002. Ishida, Tomofumi. “次世代機に向けたゲームエンジンの設計”, CEDEC 2006, 2006. Takabe, Kunio. “「METAL GEAR SOLID 4」に使われた技術等の紹介”, CEDEC 2008, 2008.

縮小バッファへの半透明描画 ブレンドは特殊なモードを利用する 縮小されたデプスバッファを利用 デプステストを行いながら描画する 最終的なフレームバッファへの合成のため 縮小されたデプスバッファを利用 フレームバッファの内容をダウンサンプル デプステストを行いながら描画する

縮小ブレンドバッファの問題点 デプステストは合格/不合格のいずれか 解像度不足がさらに悪化 ⇒非常に激しいエイリアスが発生 On/Off(0/1)の2値情報でしかない 解像度不足がさらに悪化 ただでさえ縮小バッファは解像度が低い ⇒非常に激しいエイリアスが発生

2値ではなくフィルタを使う 0/1が問題ならフィルタを使えばよい デプステストの代わりにデプステクスチャで判断 デプスバッファではなくテクスチャを利用 ピクセルシェーダ内でフィルタを適用 近傍の複数テクセルでそれぞれ深度テスト 結果をバイリニア/バイキュービックなどで補間 PCF(Percentage Closer Filtering) ⇒デプスシャドウマップとまったく同じ

PCF利用時の制限 フィルタを利用する場合の制限 デプスバッファに書き込み操作を行えない 縮小バッファ半透明では通常デプス書き込みは不要

追加で拡大ブラーを適用 必要に応じて結果をさらにブラー 2倍程度の解像度でブラー 負荷が高い場合は拡大せずにブラー 元の縮小バッファサイズのブラーでも効果は大きい 拡大と同時にブラー 同じ解像度でブラー

実装例 環境 縮小バッファ解像度 Xbox 128×72(または96) ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファPCF ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファの解像度 128×72 ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファPCF ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファの解像度 128×72 ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファPCF ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファの解像度 128×72 ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファPCF ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファの解像度 128×72 ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファPCF ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファの解像度 128×72 ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファPCF ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファの解像度 128×72 ©2005 BUNKASHA PUBLISHING CO.,LTD. ©2005 Microsoft Corporation. All rights reserved.

縮小ブレンドバッファPCFの評価 画質面での評価 速度面での評価 かなり効果が大きい 負荷がかなり高い PCF自体の処理の重さ 高速なデプステストの恩恵をすべて捨てる

縮小ブレンドバッファPCFの評価 その他 負荷は高いが効果も大きい 縮小バッファが小さい場合はかなり有用 ⇒シーンによっては実用的

? ご質問は?