マルチ識別器を用いた 花画像検索システムの構築

Presentation on theme: "マルチ識別器を用いた 花画像検索システムの構築"— Presentation transcript:

1 マルチ識別器を用いた 花画像検索システムの構築
神戸大学 福田恵太・滝口哲也・有木康雄

2 道端、庭先、山にある自然物の情報が知りたい
研究背景 道端、庭先、山にある自然物の情報が知りたい 検索対象の大半が、「イメージ」である 「キーワード」分類の従来図鑑の不便さ ICタグで扱えない自然物認識 知りたい情報をユーザーが負担なく得るために… 「イメージ」から検索可能な図鑑システム

3 本研究について 従来手法 花という一点からの特徴を捉えているため、 どの花に対しても同じ特徴量を扱う。 提案手法
花の構造により分類し、構造に依存した特徴量を 選択するマルチ識別器を構成する。

4 システム全体の流れ 検索画像 花弁領域抽出 データベース 特徴量抽出 マルチ識別器 結果表示 表示画像 特徴量 花の名前 科名
属名 etc.. 花弁領域抽出 データベース 特徴量抽出 マルチ識別器 結果表示

5 花弁領域抽出 面積最大領域 画像入力 輪郭抽出 HSV色空間に変換 画像出力 K-平均法による減色処理
中央でなおかつ画素の多い色の領域を自動抽出 マウス操作により修正

6 特徴量抽出 色特徴量 10×10次元のHS色空間における二次元ヒストグラム (分布量) 形特徴量
低周波数成分における30次元の正規化されたスペクトルの強さ 色特徴量 Power d DFT l Freq 形特徴量 一次元形状グラフ

7 各構造に依存した特徴を重視することが可能になる。
構造による分類 円形度 エントロピー 平均 構造のタイプ 高 中 低 円形に近い花 複数の花弁をもつ花 明確な花弁をもつ花 以上の３つの特徴量から３つの構造に分類する． 円形に近い花 複数の花弁をもつ花 明確な花弁をもつ花 各構造に依存した特徴を重視することが可能になる。

8 ｛円形花らしさ，複数花らしさ，明確花らしさ｝
Fuzzy C-means法 １つのサンプルが複数のクラスタに属することを想定している． ０～１で帰属度を示す． ｛円形花らしさ，複数花らしさ，明確花らしさ｝ というベクトル空間を構成する． 円形:0.04 複数:0.03 明確:0.93 円形:0.53 複数:0.07 明確:0.40 複雑 その目的として 検索画像と帰属度が類似したものに候補を絞る． 検索画像の重視すべき特徴がわかる． 円形 明確

9 認識法 識別器 検索画像 円形 0.04 複数 0.03 類似度 明確 0.93 データベース 結果表示 検索画像の帰属度 FCM 呼び出し
候補の削減 データベース 小データベース

10 各識別器の構成 類似度計算：ヒストグラムインターセクション 色特徴量：10×10次元の色特徴量 形特徴量：30次元の形特徴量＋α タイプ
周波数領域ガウス重み ＋形状特徴量 円形 低周波数 円形度 複数 高周波数 複雑度 明確 ピーク値 動径最小/最大 ※　動径最小/最大は，花弁が長いほど値が低く，短いほど値が高くなる．

11 Histogram Intersection
形類似度計算 ピーク値 検索画像 形類似度 Histogram Intersection ガウス重み N(5,1^2) 画像

12 実験条件 112種類花画像×４枚 1枚を検索用，残りをDBとしたCV法 評価方法：MRR (Mean Reciprocal Rank)
評価実験(1) ファジィ化の度合いによる認識率の変化 評価実験(2) 識別器の統合による認識率の変化

13 評価実験(1) ファジィ係数が大きくなればなるほどファジィ化の度合いが大きい．
特にファジィ係数=1.0のときは，クリスプ C-means法となる．

14 評価実験(2) 各識別器で最もMRRが高かった時の形色重み比率を 採用しマルチ識別器を構成．
第３候補まで68.5％，第５候補まで79.2%，第10候補まで92.0%の認識率

15 まとめ 考察 今後の課題 特に輪郭形状が安定した花は認識率が高い． ファジィ化を行うことで精度が向上． 識別器の統合により精度が向上．
　特に輪郭形状が安定した花は認識率が高い． 　ファジィ化を行うことで精度が向上． 　識別器の統合により精度が向上． 今後の課題 　同じ花でも色形が異なる花の認識率の精度向上． 　アジサイのような集合花などへの対応． 　さらに多くの自然物に対応する図鑑システムの構築．

16

17 本研究について 従来手法 花という一点からの特徴を捉えているため、 どの花に対しても特徴量が同じ。 提案手法
花の構造により分類し、構造に依存した特徴量を 重視するマルチ識別器を構成する。

18 花弁領域抽出 H S V 例．黄色領域 H：60度付近 S：0.3以上 V：0.6以上 RGBからHSV 面積最大 画像入力 輪郭抽出
画像出力 K-means K-means K-means 例．黄色領域 花弁領域抽出 H：60度付近 S：0.3以上 V：0.6以上 Yes No マウスによる修正

19 抽出成功例

20 抽出失敗例

21 FCM処理結果(1) 帰属度 べき乗パラメーター　m = 2.5のとき エントロピー

22 FCM処理結果(2) 帰属度 べき乗パラメーター　m = 2.5のとき 円形度

23 Histogram Intersection
ピーク値 検索画像 形類似度 Histogram Intersection ガウス重み N(5,1^2) 画像

24 類似度計算 ：識別器jにおける画像iとの類似度 ：類似度の重み ：MAX 1 min 0　の各類似度

25 この場合，「複数」を扱う識別器の結果が重視される．
識別器の統合 円形:0.03 複数:0.91 一花:0.06 のとき， 検索画像 ：識別器jにおける画像iとの類似度 この場合，「複数」を扱う識別器の結果が重視される．

26 クラスタリング精度 1.0 1.5 2.0 2.5 3.0 3.5 エラー率（%） 5.13 4.02 1.56 1.12 0.67 0.22 削減率(%) 62.5 61.0 55.9 45.9 30.0 14.0 エラー率：正解の３サンプルが小データベースに入らなかった割合 削減率：（除外されたデータ数/データベースのデータ数)の割合

27 マルチ識別器の評価(2) 色類似度の重み w1と形類似度の重み w2を w1 + w2 = 1.0とし，
1st 2nd 3rd 4th 円形 1 4 複数 3 一花 2 マルチ 6

28 各識別器で用いた識別器をそのまま特徴量に用いた場合．
シングル識別器 各識別器で用いた識別器をそのまま特徴量に用いた場合．

29 Mean Reciprocal Rank 順位逆数の総和を平均した評価法（平均逆順位法） １位 1 ２位 ３位 ４位 2

30 各識別器で最もMRRが高かった時の形色重み比率を
マルチ識別器の評価 各識別器で最もMRRが高かった時の形色重み比率を 採用しマルチ識別器を構成．

31 現時点のシステムでは対処できない．(例．チューリップ)
色が異なる花への対処 現時点のシステムでは対処できない．(例．チューリップ) 色別にモデルをデータベースに登録する． 個々に知識データベースを用意しておく． (個々の花ごとに重要な特徴量を定義しておく．) 再検索の要求

32 フィードバック機能 現時点のシステムは再検索機能がない． 類似度が低かった場合に再検索を要求する． 色または形特徴量の重みをユーザーが変更．
既知の情報などにより精度の向上．

33 ファジィ化の目的 K-平均 ファジィ エラー率(%) 5.13 1.12 削除率(%) 62.5 45.9 MRR 0.538 0.565
輪郭が不安定であるため，３つの構造いずれに属するか決定することが困難である． K-平均 ファジィ エラー率(%) 5.13 1.12 削除率(%) 62.5 45.9 MRR 0.538 0.565

34 サクラソウ

35 第３候補まで68.5％，第５候補まで79.2%，第10候補まで92.0%の認識率
評価実験 112種類花画像×４枚 3枚をDBに１枚を検索用とするクロスバリデーション ファジィ化の度合いによる変化ごとのMRR (Mean Reciprocal Rank) べき乗パラメーターが大きくなればなるほど，ファジイ化の度合いが大きくなる 第３候補まで68.5％，第５候補まで79.2%，第10候補まで92.0%の認識率

36 アプリケーション