勾配画像処理に基づく動画中の流体部分抽出 岡部 誠 電気通信大学/JST PRESTO 安生 健一 OLM Digital, Inc. 尾内 理紀夫 電気通信大学 モチベーション 映像製作の現場において、流体動画データベースは爆発、炎、煙等のシーンを作るために重要ですが、その素材は多くの場合、特別なスタジオで撮影される必要があります。そこで我々は、野外で気軽に撮影した動画から流体を抽出することを可能にし、映像製作に使える流体動画素材の数を増やすことに貢献します。 勾配画像処理 勾配画像処理を用いることで、初期アルファマットに残った背景テクスチャの影響を消します。初期アルファマット(a)の縦横方向の勾配（＝エッジ）画像を計算します(bとc)。この画像中の勾配のうち、煙に関する勾配のみ残し、レンガ模様に関する勾配を弱めます(dとe)。勾配画像を積分し、精製されたアルファマットを得ます(f)。 暗幕 ライト (a) Initial Alpha Matte (b) Horizontal Gradient (c) Vertical Gradient (d) Processed Gradient (e) Processed Gradient (f) Refined Alpha Matte 特別なスタジオにて、扇風機で煙が巻き上がる様子を撮影中。背景に暗幕、手前から適切なライトを当てることで、後の合成処理に備える。 上段：入力の爆発動画。下段：抽出された爆発を別の背景画像に合成した結果。提案手法は全自動で爆発を抽出できる。特に３、４番目のフレームに見られる、半透明な薄い煙を抽出できるところがウリである。 5×5パッチ内の勾配を4次 元のヒストグラムにまとめ たテクスチャ特徴量。 初期アルファマット。 背景。 (b)と(c)の間のテクスチャ 類似度マップ。黒い値が高 い類似性で、そこでは勾配 がより除去される。 提案手法 流体動画(a)を入力すると、まず背景画像(b)を推定します。次に、背景差分に基づいてラフな初期アルファマット(c)を作ります。煙の領域がラフに得られたものの、レンガ模様が残っていますので、これを勾配画像処理で消します(d)。同様の計算で前景(e)を得ます。前景とアルファマットを用いて青の背景と合成しています(f)。 (a) A frame of a smoke video (b) The estimated background (c) The initial alpha matte (d) The refined alpha matte (e) The estimated foreground (f) A composite example 既存手法との比較です。(c)のトライマップは(a)のオリジナルと(b)の背景の色差分をもとに計算しました。これを用いて、(d)のBayesian Matting、(e)のSpectral Matting、(f)のShared Mattingを計算しています。(g)は提案手法です。 結果と考察 背景推定 動きの少ないピクセルは流体じゃなく背景画像だろう、という指針に基づいて背景を推定します。動きはオプティカルフローで計算し速度場 V を得て、この大きさを重み W にし、全フレームを重み付き平均を取ることで背景を推定します。 Adobe After Effectsの「異なるマット」との比較。赤い矢印の示す部分に、異なるマットでは背景画像のパターンが見られる。一方、提案手法では滑らかな流体が得られている。