パネル型クエリ生成インタフェース画像検索システムの改良 木下研究室 200702915番　倉橋大地

研究背景 画像検索がネットで普及している 「類似画像検索」は監視カメラ、医療などにおいて欠かせないシステムである 欲しい画像のデータをより正確に効率的に検索したい

画像検索の種類 テキストをクエリとする画像検索 Text-Based Image Retrieval（TBIR） 画像の内容をクエリとする画像検索 Content-Based Image Retrieval（CBIR）

従来のCBIRの研究 問題点 検索するキーとなる画像が手元にないと検索ができない。

従来のCBIRの研究 研究自体（CBIRの研究）は1990年前半から研究されている。最新の手法では、色、形状、テクスチャ、特徴点などさまざまな特徴量を用いて類似度を判定する。 肉眼では色、形状の2つで物体を判断するのでその2つに着目し、木下研究室では「パネル型クエリ生成インタフェース」を用いた類似画像検索を研究している。

従来の木下研究室の研究 「パネル型クエリ画像検索システム」 ここでこのシステムの説明。事細かに。 パネルに色を塗って目的の画像を検索

問題点 問題点１ （１）メタデータの計算に時間がかかる。 （２）従来の研究ではメタデータの種類が少ないため精度が低い。 問題点２ 　（１）メタデータの計算に時間がかかる。 　（２）従来の研究ではメタデータの種類が少ないため精度が低い。 問題点２ 　パネルのユーザビリティ ⇒パネルのマス目の数が少ないため精度が低い 本研究ではこれらの問題点について改善策を提案します。

問題点１-（１） 画像データベースのメタデータ作成を検索ごとに行っているので、検索に時間がかかる。 画像データベース 画像処理 メタデータ Click! 比較 類似度算出 ※省略 緑枠は毎回計算していると時間がかかるので一度計算してメタデータとして保存しておけば時間短縮となる。 ユーザーによる 所望画像の確認 所望画像の 類似画像群 所望画像の 入手

問題点１-（１） 時間の短縮 メタデータをあらかじめ保存することで解消できる。 ユーザはここからスタート メタデータ 比較 類似度算出 ユーザーによる 所望画像の確認 所望画像の 類似画像群 所望画像の 入手

問題点１-（２） 領域画像 メタデータ ・（２）メタデータの種類が少ない 画像データベース （原画像） 構造解析 ・多数決 ・領域の重心 ・包含関係 領域画像 メタデータ 画像データベース （原画像） クラスタリング （RGB値・HSV値） 従来のシステムではマス目ごとのRGBの平均値だけで判定しており、精度が低いと言えます。 メタデータその１ ・マス目に区切って色の多数決をとったモザイクみたいにできたもの。 メタデータその２（領域の重心） ・マス目ごとの色の重心位置を求めたもの。 メタデータその３（包含関係） ・ メタデータその４（ヒストグラム） ヒストグラム

パネルが少ないため描写が大雑把になってしまう 問題点２ 検索したい画像 ・パネルのマス目の数が少ないため精度が低い 消化器はおろか、指定したところに赤色が入っている画像は一枚もなかった。 図：従来のシステムの検索結果

パネルのマス目を増やすことで 検索精度が上がるか検証した りんごをイメージして描写したいが、左の少ないパネルでは細かく描けないが、右図のようにパネルを増やすことによって細かい描写ができ、検索精度が増すのではないか。 質問：このパネル数で実験をした結果このマス目の数が一番良かったのか？ ⇒（正直に）そこまでの評価はできませんでしたので今後の課題としてさせていただきたいと思います。 確認できました。

改良インターフェース

細かい描写ができるようになり、消化器のイメージが上位4番目にでてきた。 消化器以外にも検索意図（赤色の中に白色が混じっている） 改良したシステムでの検索結果 細かい描写ができるようになり、消化器のイメージが上位4番目にでてきた。 消化器以外にも検索意図（赤色の中に白色が混じっている） を汲み取ることができ検索された画像 パネルを増やすことによって細かい描写ができるようになり、目的の消化器のイメージが上位にでてきた。 ユーザの検索意図をうまく汲み取ることができている。 赤色の中に白色が混じっているという検索意図により、消化器以外にもそのような画像が検索された。 ※ただし、パネルの数を増やしたことによって パネルに色をつけるユーザの負担が増える。

提案 ・あらかじめ用意されたキー画像をパネルに読み込めるようにする。 類似画像検索との矛盾点をつっこまれたときに、「あらかじめ用意されたキー画像」というのはパネルに色を塗る横らへんにこのようなりんごの画像を選べたり、もしくはもともと持っていた画像をいれたりすることができるようにする。

提案 ・さらに、パネル上で追加書き込みできるようにする。 右図は「机の上に乗ったりんご」の画像を検索するために 読み込んだりんごをベースに机を追加した。

まとめ ①メタデータ ②ユーザビリティ 検索時間短縮、精度向上のためのメタデータ作成を提案。 パネルの数を増やしたことによってユーザの検索意図をうまく汲み取ることができるようになった。 パネルの数を増やすことによって生じるユーザへの負担の解消を提案。 色相(Hue)・彩度(Saturation)・明度(Value)の3成分からなる色空間 • 色相：色の種類• 彩度：色の鮮やかさ• 明度：色の明るさ ユーザビリティについて ・マス目を増やしたが、それによって増える負担を軽減するためにキー画像をベースにする方式を提案したい。

課題 今回提案したメタデータについてどれが有効なのか評価する。 マス目を増やしたが、ユーザへの負担と検索精度の兼ね合いを考えたときの最適なマス目の数の検証が必要。 ２つ目の検証について、どのマス目の数が一番最適かというのは様々な要因によって違ってくるのでそういうことも含めてどのようなことを視野に含めればいいのかを検証するのも今後の課題です。 自動的にマス目の数を倍率などで設定できるように、また、一度その画像でそのマス目で検索されたものはマス目の数が優先するようなシステム。