マルチ識別器を用いた 花画像検索システムの構築

Slides:



Advertisements
Similar presentations
果物識別 補足資料 1. やりたい事  入力された画像内に映っている果物が何かを自動判 別するプログラムを組むこと 識別器 りんご です.
Advertisements

自動映像生成のための パーティクルフィルタによるボールの追 跡 2007 年 3 月 21 日 神戸大学大学院自然科学研究科 矢野 一樹.
顔表情クラスタリングによる 映像コンテンツへのタギング
画像セグメンテーションにおけるウェーブレット係数の局所テクスチャ特徴を用いたGraph Cuts
Building text features for object image classification
HOG特徴に基づく 単眼画像からの人体3次元姿勢推定
パネル型クエリ生成インタフェース画像検索システムの改良
Pose Tracking from Natural Features on Mobile Phones
画像処理工学 2012年2月2日 担当教員 北川 輝彦.
国内線で新千歳空港を利用している航空会社はどこですか?
Scalable Collaborative Filtering Using Cluster-based Smoothing
雑音重み推定と音声 GMMを用いた雑音除去
顔表情認識のための顔特徴点抽出 徳島大学 大学院 工学研究科 長野 信男.
TextonBoost:Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation 伊原有仁.
状況の制約を用いることにより認識誤りを改善 同時に野球実況中継の構造化
ランダムプロジェクションを用いた 音声特徴量変換
3次キュムラントのバイスペクトラムと PCAによる音声区間検出
高山建志 五十嵐健夫 テクスチャ合成の新たな応用と展開 k 情報処理 vol.53 No.6 June 2012 pp
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第三回 演習課題 画像中からの物体抽出処理(色情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/08.
ー 第1日目 ー 確率過程について 抵抗の熱雑音の測定実験
自閉症スペクトラム障害児と定型発達児の識別に関する音響特徴量選択の検討
小標本検査データを元にした 疲労破損率のベイズ推定
果物識別 マハラノビス距離を求める.
複数尤度を用いた 3次元パーティクルフィルタによる選手の追跡 IS1-39
Fuzzy c-Means法による クラスター分析に関する研究
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
視点移動カメラにおけるカメラキャリブレーション
画像処理工学 2013年1月23日 担当教員 北川 輝彦.
音高による音色変化に着目した音源同定に関する研究
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第二回 演習課題
高度情報演習1C 実践 画像処理プログラミング 第二回 演習課題
雑音環境下における 非負値行列因子分解を用いた声質変換
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
深層学習を用いた音声認識システム 工学部 電気電子工学科 白井研究室 T213069 林健吉.
NMF と基底モデルを用いた多重楽音解析 2-P-10 中鹿亘 ・ 滝口哲也 ・ 有木康雄 (神戸大) 概要 従来手法の問題点 提案手法
5母音の認識率(wの本数5) フレーム幅5、シフト幅2 全音素の認識率(wの本数5) フレーム幅5、シフト幅3
Data Clustering: A Review
複数特徴量の重み付け統合による一般物体認識
1-Q-9 SVMとCARTの組み合わせによる AdaBoostを用いた音声区間検出
構音障害者を対象とした混合正規分布モデルに基づく統計的声質変換に関する研究
顔特徴点移動量・点間距離変化量の組み合わせに基づく顔表情認識
Number of random matrices
各会話シーン毎に、発話(音源)方向を推定
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
Wavelet係数の局所テクスチャ特徴量を用いたGraph Cutsによる画像セグメンテーション
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
2007年度 長岡オープンハウス クロマキー合成 小山高専 電子制御工学科4年                       針谷 尚裕.
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
多重ベータ混合モデルを用いた調波時間構造の モデル化による音声合成の検討
過学習を考慮した IS1-60 AAMパラメータの選択と回帰分析による 顔・視線方向同時推定 顔・視線同時推定 研究背景
距離空間ピラミッドを用いた LLCによる3次元物体認識
重みつきノルム基準によるF0周波数選択を用いた Specmurtによる多重音解析
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
バイラテラルフィルタによる実雑音下音声認識 のための音声特徴量抽出
A-17 検索履歴のプライバシーを秘匿した ユーザクラスタリング
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
パターン認識特論 ADA Boosting.
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
ビデオデータベースを用いた 流体画像に基づくアニメーション生成
パターン認識特論 ADA Boosting.
音響伝達特性を用いた単一チャネル 音源位置推定における特徴量選択の検討
Webページタイプによるクラスタ リングを用いた検索支援システム
1-Q-12 Buried Markov Modelを用いた構音障害者の音声認識の検討
自己縮小画像と混合ガウス分布モデルを用いた超解像
CSP係数の識別に基づく話者の 頭部方向の推定
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
ランダムプロジェクションを用いた音響モデルの線形変換
1-P-2 フィッシャー重みマップに基づく不特定話者音素認識の検討
Presentation transcript:

マルチ識別器を用いた 花画像検索システムの構築 神戸大学 福田恵太・滝口哲也・有木康雄

道端、庭先、山にある自然物の情報が知りたい 研究背景 道端、庭先、山にある自然物の情報が知りたい 検索対象の大半が、「イメージ」である 「キーワード」分類の従来図鑑の不便さ ICタグで扱えない自然物認識 知りたい情報をユーザーが負担なく得るために… 「イメージ」から検索可能な図鑑システム

本研究について 従来手法 花という一点からの特徴を捉えているため、 どの花に対しても同じ特徴量を扱う。 提案手法 花の構造により分類し、構造に依存した特徴量を 選択するマルチ識別器を構成する。

システム全体の流れ 検索画像 花弁領域抽出 データベース 特徴量抽出 マルチ識別器 結果表示 表示画像 特徴量 花の名前 科名 属名 etc.. 花弁領域抽出 データベース 特徴量抽出 マルチ識別器 結果表示

花弁領域抽出 面積最大領域 画像入力 輪郭抽出 HSV色空間に変換 画像出力 K-平均法による減色処理 中央でなおかつ画素の多い色の領域を自動抽出 マウス操作により修正

特徴量抽出 色特徴量 10×10次元のHS色空間における二次元ヒストグラム (分布量) 形特徴量 低周波数成分における30次元の正規化されたスペクトルの強さ 色特徴量 Power d DFT l Freq 形特徴量 一次元形状グラフ

各構造に依存した特徴を重視することが可能になる。 構造による分類 円形度 エントロピー 平均 構造のタイプ 高 中 低 円形に近い花 複数の花弁をもつ花 明確な花弁をもつ花 以上の3つの特徴量から3つの構造に分類する. 円形に近い花 複数の花弁をもつ花 明確な花弁をもつ花 各構造に依存した特徴を重視することが可能になる。

{円形花らしさ,複数花らしさ,明確花らしさ} Fuzzy C-means法 1つのサンプルが複数のクラスタに属することを想定している. 0~1で帰属度を示す. {円形花らしさ,複数花らしさ,明確花らしさ} というベクトル空間を構成する. 円形:0.04 複数:0.03 明確:0.93 円形:0.53 複数:0.07 明確:0.40 複雑 その目的として 検索画像と帰属度が類似したものに候補を絞る. 検索画像の重視すべき特徴がわかる. 円形 明確

認識法 識別器 検索画像 円形 0.04 複数 0.03 類似度 明確 0.93 データベース 結果表示 検索画像の帰属度 FCM 呼び出し 候補の削減 データベース 小データベース

各識別器の構成 類似度計算:ヒストグラムインターセクション 色特徴量:10×10次元の色特徴量 形特徴量:30次元の形特徴量+α タイプ 周波数領域ガウス重み +形状特徴量 円形 低周波数 円形度 複数 高周波数 複雑度 明確 ピーク値 動径最小/最大 ※ 動径最小/最大は,花弁が長いほど値が低く,短いほど値が高くなる.

Histogram Intersection 形類似度計算 ピーク値 検索画像 形類似度 Histogram Intersection ガウス重み N(5,1^2) 画像

実験条件 112種類花画像×4枚 1枚を検索用,残りをDBとしたCV法 評価方法:MRR (Mean Reciprocal Rank) 評価実験(1) ファジィ化の度合いによる認識率の変化 評価実験(2) 識別器の統合による認識率の変化

評価実験(1) ファジィ係数が大きくなればなるほどファジィ化の度合いが大きい. 特にファジィ係数=1.0のときは,クリスプ C-means法となる.

評価実験(2) 各識別器で最もMRRが高かった時の形色重み比率を 採用しマルチ識別器を構成. 第3候補まで68.5%,第5候補まで79.2%,第10候補まで92.0%の認識率

まとめ 考察 今後の課題 特に輪郭形状が安定した花は認識率が高い. ファジィ化を行うことで精度が向上. 識別器の統合により精度が向上.  特に輪郭形状が安定した花は認識率が高い.  ファジィ化を行うことで精度が向上.  識別器の統合により精度が向上. 今後の課題  同じ花でも色形が異なる花の認識率の精度向上.  アジサイのような集合花などへの対応.  さらに多くの自然物に対応する図鑑システムの構築.

本研究について 従来手法 花という一点からの特徴を捉えているため、 どの花に対しても特徴量が同じ。 提案手法 花の構造により分類し、構造に依存した特徴量を 重視するマルチ識別器を構成する。

花弁領域抽出 H S V 例.黄色領域 H:60度付近 S:0.3以上 V:0.6以上 RGBからHSV 面積最大 画像入力 輪郭抽出 画像出力 K-means K-means K-means 例.黄色領域 花弁領域抽出 H:60度付近 S:0.3以上 V:0.6以上 Yes No マウスによる修正

抽出成功例

抽出失敗例

FCM処理結果(1) 帰属度 べき乗パラメーター m = 2.5のとき エントロピー

FCM処理結果(2) 帰属度 べき乗パラメーター m = 2.5のとき 円形度

Histogram Intersection ピーク値 検索画像 形類似度 Histogram Intersection ガウス重み N(5,1^2) 画像

類似度計算 :識別器jにおける画像iとの類似度 :類似度の重み :MAX 1 min 0 の各類似度

この場合,「複数」を扱う識別器の結果が重視される. 識別器の統合 円形:0.03 複数:0.91 一花:0.06 のとき, 検索画像 :識別器jにおける画像iとの類似度 この場合,「複数」を扱う識別器の結果が重視される.

クラスタリング精度 1.0 1.5 2.0 2.5 3.0 3.5 エラー率(%) 5.13 4.02 1.56 1.12 0.67 0.22 削減率(%) 62.5 61.0 55.9 45.9 30.0 14.0 エラー率:正解の3サンプルが小データベースに入らなかった割合 削減率:(除外されたデータ数/データベースのデータ数)の割合

マルチ識別器の評価(2) 色類似度の重み w1と形類似度の重み w2を w1 + w2 = 1.0とし, 1st 2nd 3rd 4th 円形 1 4 複数 3 一花 2 マルチ 6

各識別器で用いた識別器をそのまま特徴量に用いた場合. シングル識別器 各識別器で用いた識別器をそのまま特徴量に用いた場合.

Mean Reciprocal Rank 順位逆数の総和を平均した評価法(平均逆順位法) 1位 1 2位 3位 4位 2

各識別器で最もMRRが高かった時の形色重み比率を マルチ識別器の評価 各識別器で最もMRRが高かった時の形色重み比率を 採用しマルチ識別器を構成.

現時点のシステムでは対処できない.(例.チューリップ) 色が異なる花への対処 現時点のシステムでは対処できない.(例.チューリップ) 色別にモデルをデータベースに登録する. 個々に知識データベースを用意しておく. (個々の花ごとに重要な特徴量を定義しておく.) 再検索の要求

フィードバック機能 現時点のシステムは再検索機能がない. 類似度が低かった場合に再検索を要求する. 色または形特徴量の重みをユーザーが変更. 既知の情報などにより精度の向上.

ファジィ化の目的 K-平均 ファジィ エラー率(%) 5.13 1.12 削除率(%) 62.5 45.9 MRR 0.538 0.565 輪郭が不安定であるため,3つの構造いずれに属するか決定することが困難である. K-平均 ファジィ エラー率(%) 5.13 1.12 削除率(%) 62.5 45.9 MRR 0.538 0.565

サクラソウ

第3候補まで68.5%,第5候補まで79.2%,第10候補まで92.0%の認識率 評価実験 112種類花画像×4枚 3枚をDBに1枚を検索用とするクロスバリデーション ファジィ化の度合いによる変化ごとのMRR (Mean Reciprocal Rank) べき乗パラメーターが大きくなればなるほど,ファジイ化の度合いが大きくなる 第3候補まで68.5%,第5候補まで79.2%,第10候補まで92.0%の認識率

アプリケーション