Image Analogies SIGGRAPH 2001 宮崎大輔 Aaron Hertzmann1,2 Charles E. Jacobs2 Nuria Oliver2 Brian Curless3 David H. Salesin2,3 1New York University 2Microsoft Research 3University of Washington 宮崎大輔

Image Analogies AがA’になるのと同じようにBからB’を作りたい 入力：A,A’,B 出力：B’

アルゴリズム

定義 p:A,A’におけるピクセル（の位置） q:B,B’におけるピクセル（の位置） A(p),A’(p),B(q),B’(q):特徴ベクトル（R,G,BやY(輝度)など何を使っても良い） s(q)=p:pとqの対応を表す関数 l:マルチスケールのレベル L:マルチスケールの最大レベル

アルゴリズム マルチスケールデータを作成 特徴ベクトルを作成 データ構造などを初期化 低解像度から高解像度までループ qでループ “最適”なpを探索 A’の特徴ベクトルをB’にコピー pとqの対応を保存する 最大解像度でのB’を返す

BestMatch関数 κ:コヒーレンスパラメタ 大きければコヒーレンス性が高い(=画像が局所的に自然，画像が大局的にちぐはぐ) 小さければコヒーレンス性が低い(=画像が局所的にちぐはぐ，画像が大局的に自然) Fl(p):レベルlのpの周囲5x5の特徴ベクトル25個と レベルl-1のpの周囲3x3の特徴ベクトル9個をつなげた ものすごく要素の多いベクトル

BestApproximateMatch関数 ANN(approximate-nearest-neighbor search)をそのまま使う

BestCoherenceMatch関数 s(r*)+(q-r*)を返す関数 N:qの近傍(レベルlの5x5とレベルl-1での3x3) 低解像度ですでに求めたpの近傍で特徴ベクトルが最も近い物を返す

マッチング

細かい処理について 細かい処理をたくさんしているが詳細は省略．例えば AとBの明るさをあわせるために，輝度のヒストグラムが同じ形になるように変形する 特徴ベクトル同士の２乗ノルムを計算するときに，それぞれの要素でスケール（単位）が異なると最も大きい値にひっぱられてしまい，正しい差を計算できないので，補正する R,G,B全てをA’からB’に転送するのではなく，輝度YだけをA’からB’に転送する場合もある

結果画像

Toy filters Identity filter κを0にする事で実現 : :: : A A’ B B’

Toy filters Identity filter κを大きくする事でコラージュっぽい画像ができる

Toy filters Blur filter A A’ : :: : B B’

Toy filters Emboss filter A A’ : :: : B B’

Texture synthesis Input Wei-Levoy Ashikhmin Ours

Texture synthesis Input Wei-Levoy Ashikhmin Ours

Super-resolution : :: : B B’ A A’

Super-resolution : :: : B B’ A A’

Texture transfer

Texture transfer

Artistic filters Pastel : :: B B’ :

Artistic filters Pastel : :: : B B’

Artistic filters Watercolor : :: B B’ :

Artistic filters Watercolor : :: B’ B :

Artistic filters Watercolor : :: B B’ :

Artistic filters Watercolor : :: B B’ :

Artistic filters Watercolor :: : B B’ :

Artistic filters Watercolor : :: B B’ :

Artistic filters Lucian Freud : :: B B’ :

Artistic filters Lucian Freud : :: B B’ :

Artistic filters Lucian Freud B : :: : A A’ B’ κの値を変化

Artistic filters Vincent Van Gogh : :: B B’ :

Artistic filters Vincent Van Gogh : :: B B’ :

Artistic filters Vincent Van Gogh : :: B’ B :

Artistic filters Vincent Van Gogh : :: B B’ :

Artistic filters Vincent Van Gogh : :: B B’ :

Artistic filters Edouard Manet : :: B B’ :

Artistic filters Engraving (Squire) : :: : A’ A B B’

Artistic filters Engraving (Squire) : :: B B’ :

Artistic filters Engraving (Nast small) : : :: A A’ B B’

Artistic filters Engraving (Nast large) : :: : A A’ B B’

Artistic filters Sketch(Native American) : :: : A A’ B B’

Artistic filters Sketch(Native American) B : :: : A A’ B’

Artistic filters Engraving (Fountain) :: : : A A’ B B’

Artistic filters Engraving (Fountain) B : :: : A A’ B’

Artistic filters Engraving (Waterfall) : :: : A B A’ B’

Artistic filters Engraving (Waterfall) : :: B B’ :

Artistic filters Engraving (Moon) : :: : A’ B B’

Artistic filters Engraving (Brick) :: : : A’ B B’

Artistic filters Stipple (Cupid) : :: : B’ A’ B A

Artistic filters Stipple (Cupid) B :: : : A A’ B’

Artistic filters Stipple (Chair) : :: : A A’ B B’

Artistic filters Stipple (Chair) B : :: : A A’ B’

Texture-By-Numbers Oxbow A A’ : :: B B’ :

Texture-By-Numbers Changing Melody : :: B B’ :

Texture-By-Numbers Potomac : :: B B’ :

Texture-By-Numbers Arch : : :: A A’ B’ B

Texture-By-Numbers New Orleans :: : B B’ :

Texture-By-Numbers Waterfall :: : : A A’ B B’

Texture-By-Numbers Waterfall : : :: A A’ B B’

Texture-By-Numbers Island : :: B : B’

Texture-By-Numbers Field A A’ :: : B’ B :

Image Colorization A A’ : :: B B’ :

Texture-By-Numbers Flight simulator terrain : :: B : B’

Daisuke Miyazaki 2002 Creative Commons Attribution 4 Daisuke Miyazaki 2002 Creative Commons Attribution 4.0 International License. http://www.cvl.iis.u-tokyo.ac.jp/