Image Analogies SIGGRAPH 2001 宮崎大輔

Presentation on theme: "Image Analogies SIGGRAPH 2001 宮崎大輔"— Presentation transcript:

1 Image Analogies SIGGRAPH 2001 宮崎大輔
Aaron Hertzmann1,2 Charles E. Jacobs2 Nuria Oliver2 Brian Curless3 David H. Salesin2,3 1New York University 2Microsoft Research 3University of Washington 宮崎大輔

2 Image Analogies AがA’になるのと同じようにBからB’を作りたい 入力：A,A’,B 出力：B’

3 アルゴリズム

4 定義 p:A,A’におけるピクセル（の位置） q:B,B’におけるピクセル（の位置）
A(p),A’(p),B(q),B’(q):特徴ベクトル（R,G,BやY(輝度)など何を使っても良い） s(q)=p:pとqの対応を表す関数 l:マルチスケールのレベル L:マルチスケールの最大レベル

5 アルゴリズム マルチスケールデータを作成 特徴ベクトルを作成 データ構造などを初期化 低解像度から高解像度までループ qでループ
“最適”なpを探索 A’の特徴ベクトルをB’にコピー pとqの対応を保存する 最大解像度でのB’を返す

6 BestMatch関数 κ:コヒーレンスパラメタ 大きければコヒーレンス性が高い(=画像が局所的に自然，画像が大局的にちぐはぐ)
小さければコヒーレンス性が低い(=画像が局所的にちぐはぐ，画像が大局的に自然) Fl(p):レベルlのpの周囲5x5の特徴ベクトル25個と レベルl-1のpの周囲3x3の特徴ベクトル9個をつなげた ものすごく要素の多いベクトル

7 BestApproximateMatch関数
ANN(approximate-nearest-neighbor search)をそのまま使う

8 BestCoherenceMatch関数
s(r*)+(q-r*)を返す関数 N:qの近傍(レベルlの5x5とレベルl-1での3x3) 低解像度ですでに求めたpの近傍で特徴ベクトルが最も近い物を返す

9 マッチング

10 細かい処理について 細かい処理をたくさんしているが詳細は省略．例えば
AとBの明るさをあわせるために，輝度のヒストグラムが同じ形になるように変形する 特徴ベクトル同士の２乗ノルムを計算するときに，それぞれの要素でスケール（単位）が異なると最も大きい値にひっぱられてしまい，正しい差を計算できないので，補正する R,G,B全てをA’からB’に転送するのではなく，輝度YだけをA’からB’に転送する場合もある

11 結果画像

12 Toy filters Identity filter
κを0にする事で実現 : :: : A A’ B B’

13 Toy filters Identity filter
κを大きくする事でコラージュっぽい画像ができる

14 Toy filters Blur filter
A A’ : :: : B B’

15 Toy filters Emboss filter
A A’ : :: : B B’

16 Texture synthesis Input Wei-Levoy Ashikhmin Ours

17 Texture synthesis Input Wei-Levoy Ashikhmin Ours

18 Super-resolution : :: : B B’ A A’

19 Super-resolution : :: : B B’ A A’

20 Texture transfer

21 Texture transfer

22 Artistic filters Pastel
: :: B B’ :

23 Artistic filters Pastel
: :: : B B’

24 Artistic filters Watercolor
: :: B B’ :

25 Artistic filters Watercolor
: :: B’ B :

26 Artistic filters Watercolor
: :: B B’ :

27 Artistic filters Watercolor
: :: B B’ :

28 Artistic filters Watercolor
:: : B B’ :

29 Artistic filters Watercolor
: :: B B’ :

30 Artistic filters Lucian Freud
: :: B B’ :

31 Artistic filters Lucian Freud
: :: B B’ :

32 Artistic filters Lucian Freud
B : :: : A A’ B’ κの値を変化

33 Artistic filters Vincent Van Gogh
: :: B B’ :

34 Artistic filters Vincent Van Gogh
: :: B B’ :

35 Artistic filters Vincent Van Gogh
: :: B’ B :

36 Artistic filters Vincent Van Gogh
: :: B B’ :

37 Artistic filters Vincent Van Gogh
: :: B B’ :

38 Artistic filters Edouard Manet
: :: B B’ :

39 Artistic filters Engraving (Squire)
: :: : A’ A B B’

40 Artistic filters Engraving (Squire)
: :: B B’ :

41 Artistic filters Engraving (Nast small)
: : :: A A’ B B’

42 Artistic filters Engraving (Nast large)
: :: : A A’ B B’

43 Artistic filters Sketch(Native American)
: :: : A A’ B B’

44 Artistic filters Sketch(Native American)
B : :: : A A’ B’

45 Artistic filters Engraving (Fountain)
:: : : A A’ B B’

46 Artistic filters Engraving (Fountain)
B : :: : A A’ B’

47 Artistic filters Engraving (Waterfall)
: :: : A B A’ B’

48 Artistic filters Engraving (Waterfall)
: :: B B’ :

49 Artistic filters Engraving (Moon)
: :: : A’ B B’

50 Artistic filters Engraving (Brick)
:: : : A’ B B’

51 Artistic filters Stipple (Cupid)
: :: : B’ A’ B A

52 Artistic filters Stipple (Cupid)
B :: : : A A’ B’

53 Artistic filters Stipple (Chair)
: :: : A A’ B B’

54 Artistic filters Stipple (Chair)
B : :: : A A’ B’

55 Texture-By-Numbers Oxbow
A A’ : :: B B’ :

56 Texture-By-Numbers Changing Melody
: :: B B’ :

57 Texture-By-Numbers Potomac
: :: B B’ :

58 Texture-By-Numbers Arch
: : :: A A’ B’ B

59 Texture-By-Numbers New Orleans
:: : B B’ :

60 Texture-By-Numbers Waterfall
:: : : A A’ B B’

61 Texture-By-Numbers Waterfall
: : :: A A’ B B’

62 Texture-By-Numbers Island
: :: B : B’

63 Texture-By-Numbers Field
A A’ :: : B’ B :

64 Image Colorization A A’ : :: B B’ :

65 Texture-By-Numbers Flight simulator terrain
: :: B : B’

66

67 Daisuke Miyazaki 2002 Creative Commons Attribution 4
Daisuke Miyazaki 2002 Creative Commons Attribution 4.0 International License.