画像の内容検索

Content-Based Image Retrieval 画像（静止画像／ビデオ）の「内容」による検索 検索条件 Perceptual property Color, Texture, Shape Spatial Layout, Motion Feature(ビデオ） Semantic Primitives Objects, Roles, Scenes, Subjective Attributes Impressions, Emotions

静止画像の Perceptual Property Visual property Color Texture Shape Motion Feature Spatial Layout 位置(absolute position) 大きさ (size) 関係(spatial relationship) : 相対的な位置関係

ユーザ インタフェース Query Engine/ サーチエンジン ユーザ Querying, Browsing Distance Function によるマッチング Visual Summary (サムネイルなど） 画像 データ インデックス デジタル化と encode （圧縮など） Visual Summary 生成 画像入力 装置 インデックス 生成 Region Extraction, 特徴抽出 scene/shot分割, key-frame 抽出（ビデオ） サムネイル生成（静止画像） カメラ，スキャナ frame grabberなど JPEG, MPEG など

Query by Perceptual Properties Perceptual property （例）　ビデオから「赤」が５０％の cut を探せ （例）　「丸いもの」が写っている画像を探せ

Query by Spatial Layout 例） Visual property Color 青、緑、水色 Spatial Layout 位置(absolute position)　　左下、右下、上

Query by 'X' an Image Example a Visual Sketch ユーザが例示画像を与える．最も似た画像を探す a Visual Sketch ユーザが「欲しい」画像のスケッチを書く a Specification of Visual Features Perceptual Properties を直に記述する a Keyword or Complete Text データベース内の画像すべてに，あらかじめキーワードを（人手で）つけておく

Content-Based Image Retrieval での Query Engine/ Search Engine ユーザは，自分の「見たい」画像について： うまく記述できない 「見たい」ものが何かを決めていない（偶然の発見を楽しむ）ことさえある 解） 画像データを「分類」しておいて，似た画像をグループ化しておく ユーザに見やすく表示． ユーザにとっては，「余分な画像」が表示されないので便利

Content-Based Image Retrieval での Query Engine/ Search Engine 検索の精度の向上 解） 画像を，題材によって階層的に分類しておく ユーザは，自分の欲しい画像のカテゴリ（「動物」，「ネコ」，「風景」など）を探した後に，そのカテゴリ内で検索 ⇒　検索範囲は，データベース全体でなく，限定された部分．検索の精度が上がる

Features Low-level Feature: Middle-level Features: 既存の image processing, computer vision の技術で抽出できる color, texture など Middle-level Features: 技術の確立には至っていない 登場物の形など High-level Features: 人手が必要 Semantic Primitives, Subjective Attributesなど

アジ科 アイブリ アジ科 ツムブリ Low-level Feature （色，テクスチャ）は違うが，High-level Feature （意味的なもの）は似ている

「色」と「色分布」 Regional Color Global Color 「画素」や「ある部分」の色のこと 例）　この部分は「深い緑色」である Global Color 画像全体の色分布のこと 例）　この画像は，およそ５０％が青で，３０％が黄色 色と色分布は区別する

「色」 光 ⇒ 一般には，さまざまな波長の光の集まり 太陽光のスペクトル 光　⇒　一般には，さまざまな波長の光の集まり 太陽光のスペクトル http://www.hirax.net/dekirukana4/truecolor7/

虹の七色 名前 英名 波長範囲 770 nm 赤 Red 645 nm 橙色（オレンジ） Orange 580 nm 黄色 Yellow 緑 Green 490 nm 青 Blue 藍（インジゴ） Indigo 450 nm 紫 Violet 360 nm

色の CMYK 表現 C: Cyan M: Magenta Y: Yellow ブラック http://gum.gnome.gr.jp/color.html

色の RGB 表現 （r, g, b) r: red g: green b: blue http://gum.gnome.gr.jp/color.html

色の HSV 表現 h: hue（色相） 色合い（左図） s: saturations（彩度） 色の強さ v: value（明度） 明るさ 　　色合い（左図） s: saturations（彩度） 　　色の強さ v: value（明度） 　　明るさ http://gum.gnome.gr.jp/color.html

HSV と RGB Intensity (Value) white G Saturation Hue R B black RGB HSV

色の　HSV 表現での距離 V 円筒空間での 距離 HSV

CIE 表色系 CIEは「国際照明委員会」のこと R, G, B の加法混色で表色できないスペクトルがある RGB系，XYZ系, UVW系, LAB系を提案 R, G, B の加法混色で表色できないスペクトルがある 実験では，550nmより波長の短い緑色や青色のスペクトルの色は，R, G, B をどんな割合にしても表色できない スペクトルに無い光の色を，RGBの混合で作ることができる 赤紫色

Ｌ*ａ*ｂ*（エルスター、エースター、ビースター）表色系 L軸:明るさ（Lightness） a*軸: の＋側は赤領域、－側は緑領域 b*軸: の＋側は黄領域、－側は青領域 http://www2.justnet.ne.jp/~fumoto/linkp11c2.htm

カラーヒストグラム 色分布を表現する手法の１つ 度数

カラーヒストグラムのマッチング ２つのカラーヒストグラムの マッチングには， ２つのベクトル間の 距離関数を使う カラーヒストグラム C カラーヒストグラム　t

距離関数 aij : ２つのヒストグラムの Σ （ci－ti）2 ΣΣ aij （ci－ti）（cj－tj） ユークリッド距離 色の corelation を考慮した 距離の例 N Σ （ci－ti）2 i N N ΣΣ aij （ci－ti）（cj－tj） i j aij : ２つのヒストグラムの 　　　i 番目の色と， 　　　j番目の色の類似度 　　　0 < aij ＜ 1 ユークリッド距離は遠いが， 実際には似ている

カラーヒストグラムのコンパクトな 表現 「0/1」 のベクトル表現 カラーヒストグラムから，しきい値を使って，「0/1」のベクトルを求める １ ０ １ ・・・ ０

参考 Alexandria Digital Library http://www.alexandria.ucsb.edu/adl.html Advanced Multimedia Oriented Retrieval System http://www.ccrl.com/amore/ ASSERT http://rvl2.ecn.purdue.edu/~cbirdev/WWW/CBIRmain.html Blobworld http://elib.cs.berkeley.edu/photos/blobworld CANDID http://public.lanl.gov/kelly/CANDID/index.shtml C-bird http://jupiter.cs.sfu.ca/cbird

参考 Chabot CHROMA FIDS FIR FOCUS ImageRETRO http://http.cs.berkeley.edu/~ginger/chabot.html CHROMA http://osiris.sund.ac.uk/~cs0sla FIDS http://www.cs.washington.edu/research/imagedatabase/ FIR http://www.igd.fhg.de/igd-a7/projects/formula/formula_e.html FOCUS http://wagga.cs.umass.edu/~mdas/color_proj.html ImageRETRO http://carol.wins.uva.nl/~vendrig/imageretro

参考 ImageRover ImageScape JACOB LCPD MARS MetaSEEk http://www.cs.bu.edu/groups/ivc/ImageRover ImageScape http://www.wi.leidenuniv.nl/home/lim/image.scape.html JACOB http://www.csai.unipa.it:80/research/projects/jacob/ LCPD http://ind156b.wi.leidenuniv.nl:2000/ MARS http://www-db.ics.uci.edu/pages/research/mars.shtml MetaSEEk http://www.ctr.columbia.edu/metaseek

参考 MIR NETRA Photobook Picasso PicSOM PicToSeek http://www.ceder.buffalo.edu/MMIR/ NETRA http://maya.ece.ucsb.edu/Netra Photobook http://vismod.www.media.mit.edu/vismod/demos Picasso http://viplab.dsi.unifi.it/PICASSO PicSOM http://www.cis.hut.fi/picsom PicToSeek http://www.science.uva.nl/research/isis/pictoseek

参考 QBIC Quicklook2 Shoebox SIMBA SMURF SQUID http://wwwqbic.slmaden.ibm.com Quicklook2 http://www.itim.mi.cnr.it/Linee/Linea1/Sottolinea3/ Shoebox http://www.uk.research.att.com/dart/shoebox/ SIMBA http://simba.informatik.uni-freiburg.de/ SMURF http://give-lab.cs.uu.nl SQUID http://www.ee.surrey.ac.uk/Research/VSSP/imagedb/demo.html

参考 Surfimage SYNAPSE TODAI VIR Image Engine VisualSEEk WebSEEk WISE http://www-rocq.inria.fr/imedia/index_UK.html SYNAPSE http://hobart.cs.umass.edu/~mmedia/ TODAI http://www.unil.ch/BCU/docs/collecti/res_prec/en/wtres/todai_doc.html VIR Image Engine http://www.virage.com/products/vir-irw.html VisualSEEk http://www.ctr.columbia.edu/VisualSEEk WebSEEk http://www.ctr.columbia.edu/WebSEEk WISE http://www-db.stanford.edu/~wangz/project/imsearch/

VisualSEEK Smith, J. R., Chang, S.-F., Tools and Techniques for Color Image Retrieval, Proc. Symposium on Electronic Imaging: Science and Technology Storage & Retrieval for Image and Video Databases IV, pp.426-437, 1996

VisualSEEKの領域抽出手順 Transform Quantize Filter to emphasize prominent color regions