画像の内容検索.

Presentation on theme: "画像の内容検索."— Presentation transcript:

1 画像の内容検索

2 Content-Based Image Retrieval
画像（静止画像／ビデオ）の「内容」による検索 検索条件 Perceptual property Color, Texture, Shape Spatial Layout, Motion Feature(ビデオ） Semantic Primitives Objects, Roles, Scenes, Subjective Attributes Impressions, Emotions

3 静止画像の Perceptual Property
Visual property Color Texture Shape Motion Feature Spatial Layout 位置(absolute position) 大きさ (size) 関係(spatial relationship) : 相対的な位置関係

4 ユーザ インタフェース Query Engine/ サーチエンジン ユーザ Querying, Browsing
Distance Function によるマッチング Visual Summary (サムネイルなど） 画像 データ インデックス デジタル化と encode （圧縮など） Visual Summary 生成 画像入力 装置 インデックス 生成 Region Extraction, 特徴抽出 scene/shot分割, key-frame 抽出（ビデオ） サムネイル生成（静止画像） カメラ，スキャナ frame grabberなど JPEG, MPEG など

5 Query by Perceptual Properties
Perceptual property （例）　ビデオから「赤」が５０％の cut を探せ （例）　「丸いもの」が写っている画像を探せ

6 Query by Spatial Layout
例） Visual property Color 青、緑、水色 Spatial Layout 位置(absolute position)　　左下、右下、上

7 Query by 'X' an Image Example a Visual Sketch
ユーザが例示画像を与える．最も似た画像を探す a Visual Sketch ユーザが「欲しい」画像のスケッチを書く a Specification of Visual Features Perceptual Properties を直に記述する a Keyword or Complete Text データベース内の画像すべてに，あらかじめキーワードを（人手で）つけておく

8 Content-Based Image Retrieval での Query Engine/ Search Engine
ユーザは，自分の「見たい」画像について： うまく記述できない 「見たい」ものが何かを決めていない（偶然の発見を楽しむ）ことさえある 解） 画像データを「分類」しておいて，似た画像をグループ化しておく ユーザに見やすく表示． ユーザにとっては，「余分な画像」が表示されないので便利

9 Content-Based Image Retrieval での Query Engine/ Search Engine
検索の精度の向上 解） 画像を，題材によって階層的に分類しておく ユーザは，自分の欲しい画像のカテゴリ（「動物」，「ネコ」，「風景」など）を探した後に，そのカテゴリ内で検索 ⇒　検索範囲は，データベース全体でなく，限定された部分．検索の精度が上がる

10 Features Low-level Feature: Middle-level Features:
既存の image processing, computer vision の技術で抽出できる color, texture など Middle-level Features: 技術の確立には至っていない 登場物の形など High-level Features: 人手が必要 Semantic Primitives, Subjective Attributesなど

11 アジ科 アイブリ アジ科 ツムブリ Low-level Feature （色，テクスチャ）は違うが，High-level Feature （意味的なもの）は似ている

12 「色」と「色分布」 Regional Color Global Color 「画素」や「ある部分」の色のこと
例）　この部分は「深い緑色」である Global Color 画像全体の色分布のこと 例）　この画像は，およそ５０％が青で，３０％が黄色 色と色分布は区別する

13 「色」 光 ⇒ 一般には，さまざまな波長の光の集まり 太陽光のスペクトル
光　⇒　一般には，さまざまな波長の光の集まり 太陽光のスペクトル

14 虹の七色 名前 英名 波長範囲 770 nm 赤 Red 645 nm 橙色（オレンジ） Orange 580 nm 黄色 Yellow
緑 Green 490 nm 青 Blue 藍（インジゴ） Indigo 450 nm 紫 Violet 360 nm

15 色の CMYK 表現 C: Cyan M: Magenta Y: Yellow ブラック

16 色の RGB 表現 （r, g, b) r: red g: green b: blue

17 色の HSV 表現 h: hue（色相） 色合い（左図） s: saturations（彩度） 色の強さ v: value（明度） 明るさ
　　色合い（左図） s: saturations（彩度） 　　色の強さ v: value（明度） 　　明るさ

18 HSV と RGB Intensity (Value) white G Saturation Hue R B black RGB HSV

19 色の　HSV 表現での距離 V 円筒空間での 距離 HSV

20 CIE 表色系 CIEは「国際照明委員会」のこと R, G, B の加法混色で表色できないスペクトルがある
RGB系，XYZ系, UVW系, LAB系を提案 R, G, B の加法混色で表色できないスペクトルがある 実験では，550nmより波長の短い緑色や青色のスペクトルの色は，R, G, B をどんな割合にしても表色できない スペクトルに無い光の色を，RGBの混合で作ることができる 赤紫色

21 Ｌ*ａ*ｂ*（エルスター、エースター、ビースター）表色系
L軸:明るさ（Lightness） a*軸: の＋側は赤領域、－側は緑領域 b*軸: の＋側は黄領域、－側は青領域

22 カラーヒストグラム 色分布を表現する手法の１つ 度数

23 カラーヒストグラムのマッチング ２つのカラーヒストグラムの マッチングには， ２つのベクトル間の 距離関数を使う カラーヒストグラム C
カラーヒストグラム　t

24 距離関数 aij : ２つのヒストグラムの Σ （ci－ti）2 ΣΣ aij （ci－ti）（cj－tj） ユークリッド距離
色の corelation を考慮した 距離の例 N Σ （ci－ti）2 i N N ΣΣ aij （ci－ti）（cj－tj） i j aij : ２つのヒストグラムの 　　　i 番目の色と， 　　　j番目の色の類似度 　　　0 < aij ＜ 1 ユークリッド距離は遠いが， 実際には似ている

25 カラーヒストグラムのコンパクトな 表現 「0/1」 のベクトル表現 カラーヒストグラムから，しきい値を使って，「0/1」のベクトルを求める
１ ０ １ ・・・ ０

26 参考 Alexandria Digital Library
Advanced Multimedia Oriented Retrieval System ASSERT Blobworld CANDID C-bird

27 参考 Chabot CHROMA FIDS FIR FOCUS ImageRETRO
CHROMA FIDS FIR FOCUS ImageRETRO

28 参考 ImageRover ImageScape JACOB LCPD MARS MetaSEEk
ImageScape JACOB LCPD MARS MetaSEEk

29 参考 MIR NETRA Photobook Picasso PicSOM PicToSeek
NETRA Photobook Picasso PicSOM PicToSeek

30 参考 QBIC Quicklook2 Shoebox SIMBA SMURF SQUID
Quicklook2 Shoebox SIMBA SMURF SQUID

31 参考 Surfimage SYNAPSE TODAI VIR Image Engine VisualSEEk WebSEEk WISE
SYNAPSE TODAI VIR Image Engine VisualSEEk WebSEEk WISE

32 VisualSEEK Smith, J. R., Chang, S.-F.,
Tools and Techniques for Color Image Retrieval, Proc. Symposium on Electronic Imaging: Science and Technology Storage & Retrieval for Image and Video Databases IV, pp , 1996

33 VisualSEEKの領域抽出手順 Transform Quantize
Filter to emphasize prominent color regions