ビデオデータベースを用いた 流体画像に基づくアニメーション生成 岡部 誠 電気通信大学 / JST PRESTO 安生 健一 OLM Digital, Inc. 尾内 理紀夫 電気通信大学
モチベーション 流体画像を元にアニメーションを作りたい
モチベーション 流体画像を元にアニメーションを作りたい 画像の質感を保ったまま
モチベーション 流体画像を元にアニメーションを作りたい 画像の質感を保ったまま 難しい問題
モチベーション 流体画像を元にアニメーションを作りたい 画像の質感を保ったまま 難しい問題 デザイナは１枚の流体の絵は描ける
モチベーション 流体画像を元にアニメーションを作りたい デザイナは１枚の流体の絵は描ける 画像の質感を保ったまま 難しい問題 独特の面白いスタイル
モチベーション 流体画像を元にアニメーションを作りたい デザイナは１枚の流体の絵は描ける 画像の質感を保ったまま 難しい問題 独特の面白いスタイル 何枚も描くのは困難 or 時間が掛かる
既存研究 流体シミュレーション
既存研究 流体シミュレーション 多くの物理パラメータ
既存研究 流体シミュレーション 多くの物理パラメータ 流体の動き 流体の見た目 ？
既存研究 流体シミュレーション 多くの物理パラメータ 流体の動き 流体の見た目 ビデオテクスチャ合成 既存のビデオを切り貼り ？
既存研究 流体シミュレーション ビデオテクスチャ合成 多くの物理パラメータ 既存のビデオを切り貼り 指定された見た目の 再現が難しい 流体の動き 流体の見た目 ビデオテクスチャ合成 既存のビデオを切り貼り 指定された見た目の 再現が難しい ？ ？
既存研究 ビデオを用いた 流体画像アニメーション[Okabe et al., 2009]
既存研究 ビデオを用いた 流体画像アニメーション[Okabe et al., 2009] 流れ場のデザイン
既存研究 ビデオを用いた 流体画像アニメーション[Okabe et al., 2009] 流れ場のデザイン 流体のコピー＆ペースト
既存研究 ビデオを用いた 流体画像アニメーション[Okabe et al., 2009] 流れ場のデザイン 流体のコピー＆ペースト 適切なビデオを検索
提案手法 入力 単一の水、炎、煙の流体画像
提案手法 入力 単一の水、炎、煙の流体画像 ユーザは流れ方向と速さを指定しても良い
提案手法 入力 単一の水、炎、煙の流体画像 ユーザは流れ方向と速さを指定しても良い 流体領域を指定するアルファマット
提案手法 入力 出力 単一の水、炎、煙の流体画像 ユーザは流れ方向と速さを指定しても良い 流体領域を指定するアルファマット ビデオデータベースを用いてアニメーション合成
ビデオデータベースの利用 流体ビデオを収集
ビデオデータベースの利用 流体ビデオを収集 入力画像を元に 流体ビデオの検索
ビデオデータベースの利用 流体ビデオを収集 入力画像を元に 流体ビデオの検索 部分的な類似性
ビデオデータベースの利用 流体ビデオを収集 入力画像を元に 流体ビデオの検索 部分的な類似性 コピー＆ペーストして アニメーションを生成する
ビデオデータベースの構築 水について、151の流体ビデオを収集
ビデオデータベースの構築 水について、151の流体ビデオを収集 カメラは固定 水が動画の主役
ビデオデータベースの構築 水について、151の流体ビデオを収集 解像度は640ｘ480 or 480ｘ640 時間は10秒程度 カメラは固定 水が動画の主役 解像度は640ｘ480 or 480ｘ640 時間は10秒程度
ビデオデータベース構築 ビデオデータ量の増加
ビデオデータベース構築 ビデオデータ量の増加 左右反転、回転、拡大縮小: x 18
ビデオデータベース構築 ビデオデータ量の増加 左右反転、回転、拡大縮小: x 18 ビデオをパッチ (48x48)に切る: x 90～100
ビデオデータベース構築 ビデオデータ量の増加 左右反転、回転、拡大縮小: x 18 ビデオをパッチ (48x48)に切る: x 90～100 水について、約24万のビデオパッチを得た
ビデオパッチ検索 入力画像も同様に48x48のパッチに切る
ビデオパッチ検索 入力画像も同様に48x48のパッチに切る
ビデオパッチ検索 入力画像も同様に48x48のパッチに切る 各ビデオパッチの代表画像の作成
ビデオパッチ検索 入力画像も同様に48x48のパッチに切る 各ビデオパッチの代表画像の作成 ビデオフレームの平均を取る
ビデオパッチ検索 入力画像も同様に48x48のパッチに切る 各ビデオパッチの代表画像の作成 ビデオフレームの平均を取る SIFT特徴の抽出
ビデオパッチ検索 入力画像も同様に48x48のパッチに切る 各ビデオパッチの代表画像の作成 ビデオフレームの平均を取る SIFT特徴の抽出
ビデオパッチ検索 入力画像も同様に48x48のパッチに切る 各ビデオパッチの代表画像の作成 SIFT特徴の抽出 各パッチをヒストグラムで表現 ビデオフレームの平均を取る SIFT特徴の抽出 各パッチをヒストグラムで表現
ビデオパッチ検索 入力画像も同様に48x48のパッチに切る 各ビデオパッチの代表画像の作成 SIFT特徴の抽出 各パッチをヒストグラムで表現 ビデオフレームの平均を取る SIFT特徴の抽出 各パッチをヒストグラムで表現 200種類のSIFT → 200次元のヒストグラム
最適なビデオパッチの割り当て 動きの滑らかさを考慮した最適化 マルコフ・ランダム場を使用する
最適なビデオパッチの割り当て 動きの滑らかさを考慮した最適化 マルコフ・ランダム場を使用する 見た目の類似度
最適なビデオパッチの割り当て 動きの滑らかさを考慮した最適化 マルコフ・ランダム場を使用する 見た目の類似度 動きの類似度
静止画を分割して割り当て
最適なビデオパッチの割り当て 隣接するパッチ間の動きの滑らかさ
最適なビデオパッチの割り当て 隣接するパッチ間の動きの滑らかさ 流れの速度 ：平均
最適なビデオパッチの割り当て 隣接するパッチ間の動きの滑らかさ 流れの速度 ：平均 流れの激しさ ：分散
アニメーションの生成 入力画像 割当てられたビデオパッチ
アニメーションの生成 入力画像 割当てられたビデオパッチ
アニメーションの生成 入力画像 割当てられたビデオパッチ 穏やか
アニメーションの生成 入力画像 割当てられたビデオパッチ 穏やか 激しい
アニメーションの生成 入力画像 割当てられたビデオパッチ 穏やか 穏やか 激しい 激しい
アニメーションの生成 入力画像と割当てられたビデオパッチを統合
アニメーションの生成 入力画像と割当てられたビデオパッチを統合 色や陰影の見た目情報のみ
アニメーションの生成 入力画像と割当てられたビデオパッチを統合 色や陰影の見た目情報のみ 水飛沫等の流体の動き情報のみ
アニメーションの生成 入力画像と割当てられたビデオパッチを統合 色や陰影の見た目情報のみ 水飛沫等の流体の動き情報のみ 水飛沫等の流体の動き
アニメーションの生成 入力画像と割当てられたビデオパッチを統合 色や陰影の見た目情報のみ 水飛沫等の流体の動き情報のみ 水飛沫等の流体の動き
アニメーションの生成 入力画像と割当てられたビデオパッチを統合 色や陰影の見た目情報のみ 水飛沫等の流体の動き情報のみ 水飛沫等の流体の動き 高周波成分の除去 低周波成分の除去
結果と考察 結果動画の評価 １６人の評価者（プロのデザイナ２名） 動画は自然か？どこが不自然か？
結果と考察 結果動画の評価 １６人の評価者（プロのデザイナ２名） 動画は自然か？どこが不自然か？ 水は概ね好評 炎、煙に手法の限界が見られた
結果と考察 結果動画の評価 水は概ね好評 炎、煙に手法の限界が見られた １６人の評価者（プロのデザイナ２名） 動画は自然か？どこが不自然か？ (a) (b)
結果と考察 結果動画の評価 水は概ね好評 炎、煙に手法の限界が見られた １６人の評価者（プロのデザイナ２名） 動画は自然か？どこが不自然か？ (a) (b)
まとめ ビデオデータベースを用いた 流体画像のアニメーション手法の提案
まとめ ビデオデータベースを用いた 流体画像のアニメーション手法の提案 ユーザの手作業の大幅軽減 ビデオ素材を崩すことなく利用できる
まとめ ビデオデータベースを用いた 流体画像のアニメーション手法の提案 ビデオのより直接的な利用法を検討中 ユーザの手作業の大幅軽減 ビデオ素材を崩すことなく利用できる ビデオのより直接的な利用法を検討中
まとめ ビデオデータベースを用いた 流体画像のアニメーション手法の提案 ビデオのより直接的な利用法を検討中 ユーザの手作業の大幅軽減 ビデオ素材を崩すことなく利用できる ビデオのより直接的な利用法を検討中
まとめ ビデオデータベースを用いた 流体画像のアニメーション手法の提案 ビデオのより直接的な利用法を検討中 ユーザの手作業の大幅軽減 ビデオ素材を崩すことなく利用できる ビデオのより直接的な利用法を検討中