イラストの著作権保護のためのHOG特徴量を用いた複製検出

Slides:



Advertisements
Similar presentations
画像処理・実習 第十四回:パターン認識 東海大学 情報理工学部 情報メディア学科 濱本和彦. 今回の内容 5. パターン認識 5.1 マッチングの原理 5.2 テンプレートマッチング 実習 相互相関とテンプレートマッチング.
Advertisements

生体情報を利用したオンライン認証システムに関する研 究 情報工学科 大山・山口・小尾研究室 学士課程4年田中 丈登.
コンピュータ演習 Excel 入門 岡田孝・山下雅啓 Excel の機能は膨大 その中のごく一部を紹介 表計算機能 – データの入力、表の作成、計算など グラフ機能 – 棒グラフ、円グラフなどグラフ作成 データベース機能 – 並べ替え(ソート)、検索、抽出など マクロ機能 – VBA で自動化したマクロを作成可能.
自動映像生成のための パーティクルフィルタによるボールの追 跡 2007 年 3 月 21 日 神戸大学大学院自然科学研究科 矢野 一樹.
電子書籍の検索機能の改善 木下研究室 201002713 鴫原 善寿. 背景 スマートフォンなどの携帯端末の普及と ともに電子書籍に注目が浴びた。中でも amazon の kindle など電子書籍の専用端末も 現れた。 電子書籍はデータなので本棚もいらず、 持ち運びも容易になるなど様々な恩恵を もたらした。
電子透かしにおける マスキング効果の主観評価
BRIEF: Binary Robust Independent Elementary Features
3次元nクイーン問題の 解に関する研究 論理工学研究室 伊藤精一
豊洲 304教室 15 JULY コンピュータグラフィックス 2008年度版.
Building text features for object image classification
点対応の外れ値除去の最適化によるカメラの動的校正手法の精度向上
HOG特徴に基づく 単眼画像からの人体3次元姿勢推定
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
パネル型クエリ生成インタフェース画像検索システムの改良
「わかりやすいパターン認識」 第1章:パターン認識とは
自由曲線を用いた電子透かしの提案 要所要所で吹き出し入れて喋る内容を入れておくといいかも 工藤敬文 木下研究室.
CGアニメーションの原理 基本技術 対象物体の動きや変形の設定方法 レンダリング技術
Pose Tracking from Natural Features on Mobile Phones
国内線で新千歳空港を利用している航空会社はどこですか?
9月27日 パラボラミラーによる ミリ波ビーム絞り
Handel-Cによる       エアホッケー.
ORB: an efficient alternative to SIFT or SURF
SURF: Speeded Up Robust Features
DARTs: Efficient scale-space extraction of DAISY keypoints
CV輪講 姿勢変化に対応したSoft Decision Featureと Online Real Boostingによる人物追跡
最短路問題のための LMS(Levelwise Mesh Sparsification)
高山建志 五十嵐健夫 テクスチャ合成の新たな応用と展開 k 情報処理 vol.53 No.6 June 2012 pp
クリッカブル三次元地図の制作 情報工学科 服部 真和 (指導教員: 金子 教授) 研究背景 目的
現金に替わる電子マネーの実装 200702894 大城 翔太 木下研究室.
Yuri Y. Boykov Marie-Pierre Jolly
MPIによる行列積計算 情報論理工学研究室 渡邉伊織 情報論理工学研究室 渡邉伊織です。
サポートベクターマシン によるパターン認識
~Lookie~ WEBカメラを用いた対話時における 視線不一致問題の解決手法の提案と 解決支援機構の開発
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
-Lookie- WEBカメラを用いた対話時における視線不一致問題の解決手法の提案
定兼邦彦 今井浩 東京大学理学系研究科 情報科学専攻
レッスン1 情報の収集と整理 から プレゼンへ (道具を使いこなす)
仮想メモリを用いた VMマイグレーションの高速化
環境リスクマネジメントに関する 検索システム
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
情報検索(6) メディア検索の仕組み 教員 岩村 雅一
深層学習を用いた音声認識システム 工学部 電気電子工学科 白井研究室 T213069 林健吉.
QRコードを用いたウェーブレット変換による 電子透かし
第12回   ディジタル画像(3) ディジタル画像処理(3)
中京大学 工学部 電気電子工学科 白井研究室 4年 T 為房直人
東京農業大学 東京情報大学 附属第一高等学校・中等部 附属第二高等学校 附属第三高等学校・中等部
治療用フィルムによる線量分布測定の 基礎的検討Ⅱ
QRコードを用いたIDカードに 適した電子透かし
GPSを使わないBebop Droneの 自動飛行
非対称リンクにおける ジャンボフレームの性能評価
Webコミュニティ概念を用いた Webマイニングについての研究 A study on Web Mining Based on Web Communities 清水 洋志.
複数特徴量の重み付け統合による一般物体認識
SURF+BoFによる特定物体認識 卒業研究1 1 11/27/11.
マルチ識別器を用いた 花画像検索システムの構築
物体検出による視覚補助システム T215085 若松大仁 白井研究室.
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
ISO23950による分散検索の課題と その解決案に関する検討
距離空間ピラミッドを用いた LLCによる3次元物体認識
設計情報の再利用を目的とした UML図の自動推薦ツール
8方向補間ブロックマッチングの実装 福永研究室 数理科学コース 学部4年 能城 真幸.
QRコードを用いた演習用紙の効率的な電子コンテンツ化
時間連続性を考慮した 動画からの人物の姿勢推定
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
音響伝達特性モデルを用いた シングルチャネル音源位置推定の検討 2-P-34 高島遼一,住田雄司,滝口哲也,有木康雄 (神戸大) 研究の背景
ビデオデータベースを用いた 流体画像に基づくアニメーション生成
わかりやすいパターン認識 第6章 特徴空間の変換 6.5 KL展開の適用法 〔1〕 KL展開と線形判別法 〔2〕 KL展開と学習パターン数
エイリアス関係を考慮した Javaプログラム用静的スライシングツール
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
Presentation transcript:

イラストの著作権保護のためのHOG特徴量を用いた複製検出 ・原稿的なもの イラストの著作権保護のための局所特徴量を用いた複製検出について発表いたします。 工藤と申します。よろしくお願いします。 目的を明快に説明できるように? 木下研究室  工藤護  201070080

背景 電子書籍の発達や大型のイラスト投稿サイトの影響 でインターネット上に多くのイラストが存在している。 それと同時に不正なコピーによる著作権の侵害が問 題となっている。 その為、このような問題に対処し、著作権を守る必要 がある。 まず、研究の背景ですが、電子書籍の発達や大型のイラスト投稿サイトの影響でインターネット上に多くのイラストが存在しています。 それと同時にそれらの不正なコピーによる著作権侵害が問題となっており、 不正利用者はオリジナルのイラストをそのまま使うだけではなく、部分的に改変を加えたり、 手書きでコピーをして用いることが多くなっています。 そのため、このような問題に対処し、著作権を守る必要があります。

背景 画像の著作権を保護する方法として、電子透かしや 画像検索に基づく複製検出などの手法、「線画の著 作権保護のための部分的複製検出法」などの研究が なされている。 しかし、電子透かし等では手書きで模写し、改変を加 えた場合など複雑な変化があった場合の検出が難し くなっている。 画像の著作権を保護する方法として、電子透かしや画像検索に基づく複製検出などの手法、 線画の著作権保護のための部分的複製検出法などの研究が行われています。 しかし、従来手法では手書きで模写し、改変を加えた場合など複雑な変化があった場合の 検出が難しくなっている。

目的 保護対象の画像コンテンツとして、アニメや漫画などで用 いられるイラストコンテンツを対象とする。 オリジナルイラストの輪郭線や構図を複写や模写し、オリ ジナルとは別の彩色を施すなどしたものをトレース画像と 定義。 データをそのまま用いる複製や画像を取り込むことによる 複製だけではなく、トレース画像の検出が可能な方式を目 的とする。 特徴量としてSURFとHOGを用いて比較検討を行う。 この研究の目的ですが、著作権保護の対象となる画像コンテンツとして、 アニメや漫画などで用いられるイラストコンテンツを対象とします。 オリジナルイラストの輪郭線や構図を複写や模写したものや、 それらにオリジナルと異なる彩色を施したものをトレース画像として定義します。 データをそのまま用いる複製やスキャナなどで画像を取り込んだ複製だけではなく、 トレース画像の検出が可能な方式を目的とします。

検出対象 検出の対象とする画像を、以下の図のように定義。 サイズ・角度の 変化や部分的な抜き出し WEB上のデータ そのものや紙媒体 サイズ・角度の 変化や部分的な抜き出し WEB上のデータ そのものや紙媒体 オリジナル 画像 輪郭線や構図の手書きによる模写 ・データをそのまま ・紙媒体をスキャン 検出の対象となる画像を以下の図のように定義します。 オリジナルのデータをそのまま用いたり、印刷や取り込みといった手段で複製したものを直接利用、 画像のサイズを変えたり、回転を加えたもの、一部分を抜き出したものなどを改変を加えた複製、 オリジナルの輪郭線や構図を手書きによって模写したものをトレース画像とします。 ・アニメーションか何かでそれぞれの説明追加 オリジナル の直接利用 改変を加えた複製 トレース画像 図1.検出対象の画像

提案方式 複製検出の手段として画像の特徴を数値で表した特 徴量、その一種である局所特徴量を用いる。 オリジナル画像 輪郭線 データベース 提案方式では、複製検出の手段として画像の特徴を数値で表した特徴量、 その一種である局所特徴量を用います。 図は特徴量を抽出する際の流れです。 まず、オリジナル画像から輪郭線を抽出し、そこから特徴量を抽出しデータベースに登録します。 輪郭線を抽出する際はソーベルフィルタを用いる。 輪郭線の 抽出 特徴量の 抽出 図2.特徴量抽出の流れ

提案方式 図3.複製検出の流れ オリジナル 複製の疑いがある画像 画像 輪郭線 輪郭線 特徴量 特徴量 データベース マッチング 投票 こちらが複製検出の流れを図に示したものです。 まずオリジナル画像から、輪郭線を抽出し、そこから特徴量を抽出してデータベースに登録します。 同様に複製の疑いがある画像からも輪郭線、特徴量の抽出を行います。 こうして得たデータベースと複製の疑いがある画像の特徴量の間でマッチングを行い、 特徴量が一致した数だけデータベースの画像に投票を行い、 得票数が多い画像を複製された可能性がある画像として表示します。 投票 複製検出 図3.複製検出の流れ

使用する特徴量 本研究では局所特徴量として、SURF・HOGの二種類 を用いる。

SURF :Speeded-Up Robust Features 最も一般的な特徴量であるSIFTと比べて計算速度が 早い。 特徴点の位置、特徴点の輝度勾配の方向、スケール、 64次元の特徴を表すベクトルが抽出される。 使用する特徴量について簡単な説明を致します。 SURFは物体認識に用いる特徴点を求める画像処理のアルゴリズムです。 局所特徴量として一般的なSIFTと比べると計算速度が早いとされています。 特徴点の位置、特徴点の輝度勾配の方向、スケール、64次元の特徴を表すベクトルが抽出されます。

処理過程 (x,y)座標 特徴点の検出 σ スケール 向きの検出 角度 特徴量の抽出 16*4の64次元ベクトル 図4.SURF処理過程 まず、画像のx,y座標で特徴点を検出し、 特徴点での輝度勾配の方向を検出します。 その向きを元に64次元のベクトルで特徴量を抽出します。 特徴量の抽出 16*4の64次元ベクトル 図4.SURF処理過程

HOG:Histograms of Oriented Gradients 物体の大まかな形状を表現可能で、一般に歩行者や 人工物などの物体を検出するのに使用され文字認識 などにも用いられる。 輝度勾配ヒストグラムを正規化することで明るさの変 化にも対応可能と言われている。 次にHOGについての説明に移ります。 HOGは画像の局所領域から輝度勾配・輝度強度を取り出す特徴量です。 物体のおおまかな形状を表現可能で、一般に歩行者や人工物などの物体を検出するのに使用され、 文字認識などにも用いられます。 輝度勾配ヒストグラムを正規化することで明るさの変化にも対応可能と言われています。

全てのヒストグラムを統合して特徴量にする 処理過程 局所領域をブロック・セルに分割 ブロックを移動し、セルの中での 輝度勾配ヒストグラムを計算 ブロックごとに正規化 HOGの処理過程は図のようになります。 まず、局所領域をブロックに分割し、そのブロックをセルに分割します。 ブロックを移動し、セルの中での輝度勾配ヒストグラムを計算し、それをブロックごとに正規化します。 2つめと3つめの工程をすべてのブロックで適用し、最終的にすべてのヒストグラムを統合して特徴量にします。 全てのヒストグラムを統合して特徴量にする 図5.HOG処理過程

実験条件 データベースには100枚のオリジナル画像から抽出 した輪郭線の特徴量を登録。 図1で定義した検出対象の画像の特徴量とマッチング を行う。 検索質問とデータベースに登録した特徴量を照合し て、著作権保護の対象に一致した数だけ投票を行う。 以下は実験の条件になります。 データベースには100枚のオリジナル画像から抽出した特徴量を登録します。 先ほど図1で定義した検出対象の画像の特徴量とマッチングを行います。 検索質問とデータベースに登録した特徴量を照合して、著作権保護の対象に 特徴量が一致した数だけ投票を行います。

オリジナルの直接利用の検出 まず、オリジナル画像の直接利用をした場合の検出 する際の有効性の検証を行う。 クエリとしてオリジナルのデータをそのまま利用したも の、印刷・取り込みをして複製したものを用いる。 ここからは、実験結果になります。 まずオリジナルの直接利用の検出についての検証です。 クエリとしてオリジナルのデータをそのまま利用したもの、印刷/取り込みをして複製したものを用います。

オリジナルの直接利用の検出 どちらの特徴量も共に一致率90%を超え、一致率1位 の画像とオリジナル画像は一致した。 2位以下の画像の一致率についてはSURFが1%以下、 HOGが10%程度となって  おり複製の検出に十分  有効と考えられる。 図は得票数が1位の特徴量の一致率になります。 SURF、HOGどちらの特徴量も一致率が90%を超え、一致率1位の画像とオリジナル画像は一致しました。 また、得票数2位以下の画像との一致率は、SURFが1%以下、HOGが10%程度となり 複製の検出に十分有効と考えられます。 図6.オリジナルの直接利用の検出

改変を加えた複製の検出 次に、オリジナル画像に改変を加えた場合の複製の 検出する際の有効性の検証を行う。 用いるクエリは、以下の画像を用いる。  ①オリジナルのサイズを1/2倍、2倍にしたもの。  ②30度、60度、90度の回転を加えたもの。  ③画像の一部分を抜き出したもの。 次にオリジナル画像に改変を加えた場合の複製についての検証を行います。 用いるクエリは、以下の3種類です。 まずオリジナルのサイズを1/2、2倍にしたもの。 画像に30度、60度、90度の回転を加えたもの。 画像の一部分を抜き出したものとなります。

改変を加えた複製の検出 図7.サイズを変えた 複製の検出 図8.回転を加えた 複製の検出 図9.一部抜き出した 複製の検出 以下はそれぞれの場合の投票数が1位の一致率のグラフになります。 図7.サイズを変えた 複製の検出 図8.回転を加えた 複製の検出 図9.一部抜き出した 複製の検出

改変を加えた画像の検出 ①の場合はSURFが95%、HOGが90%程度の一致率 となり、2位以下の一致率についてはSURFが1%以下、 HOGが10%程度となった。 ②の場合はこちらもSURF95%、HOG90%程度と なっており、2位以下については同様にSURFが1%以 下、HOGが10%程度となった。 ③の場合はSURF92%、HOG88%程度となっており、 2位以下はこちらもSURGが1%以下、HOGが10%程 度となった。 サイズを変えた場合はSURFが95%、HOGが90%程度の一致率、 回転を加えた場合はSURF95%、HOGが90%程度の一致率、 そして部分的に抜き出した場合はSURFが92%、HOGが88%程度となりました。 投票数が2位以下の画像についてはどれもSURFが1%以下、HOGが10%程度となりました。

トレース画像の検出 最後にトレース画像の検出する際の有効性の検証を 行う。 用いるクエリは、オリジナル画像の輪郭線部分を手書 きによって模写したものを用いる。 最後にトレース画像の場合の検証を行います。 クエリはオリジナル画像の輪郭線部分を手書きで模写したものを用います。

トレース画像の検出 SURFの場合一致率が20%程度となり、1位の画像が オリジナル画像と異なっていることが多くなっている。 HOGの場合一致率70%程度となっており、2位以下  の画像は一致率10%程度  となった。 図は得票数1位の特徴量の一致率です。 SURFの場合一致率が20%程度となり、1位の画像でもオリジナルの画像と異なる場合が多くなっています。 HOGの場合は一致率が70%程度で、2位以下については10%程度となりました。 図11.トレース画像の検出

対象画像に対する特徴量の適性 SURF HOG 直接利用 ○ 改変を加えた複製 トレース画像 × 表で特徴量ごとのそれぞれの画像に対する適性?をマルバツで

考察 実験からSURF、HOGともにオリジナルの直接利用や 回転やサイズの変化等の改変を加えた画像に対して は有効だということが判明。 若干精度が下がったのは、近似最近傍探索を用いて いることで本当の最近傍が得られていない事によると 考えられるが、ユーザが最終的に画像のチェックをす るため高速化によるメリットのほうが大きいと考えられ る。 今回の実験から、SURF、HOGどちらの特徴量もオリジナルの直接利用や改変を加えた画像に対しては有効だとわかりました。 若干精度が下がったのは、検索時間の短縮のために近似最近傍探索を用いたことで本当の最近傍が得られていない ことによると考えられますが、ユーザが最終的に画像のチェックをするので高速化によるメリットのほうが大きいと考えられます。

考察 トレース画像に対して ・SURFでは手書きによる線のぶれ(位置ずれや形状 の変化)に対応できず検出が困難。   の変化)に対応できず検出が困難。  ・HOGでは複製の検出が可能だが、より高い精度で   の検出が求められる。 トレース画像については、SURFの場合は手書きによる位置ずれや形状の変化といった 線のブレに対応できず検出が困難となりました。 HOGの場合は検出が可能ですが、より高い精度の検出が求められると考えられます。

まとめ 比較的変化が少ない複製に対してはSURFとHOGど ちらの特徴量も有効である。

今後の課題 HOGで局所領域の抽出の際、線分が十分含まれて いなかった為、精度が落ちたと考えられる。    →線分を十分含んだ領域の抽出方法の検討。 データベースのメモリ量や計算時間が膨大なものとな る。   →特徴量の次元数の効率のよい削減など、      メモリ量・計算時間の削減手法の検討。 今後の課題としては、局所領域の抽出の際、線分が十分に含まれていなかったため、精度が落ちたと考えられるので、 線分を十分に含んだ領域の抽出方法の検討します。 また、今回は100枚の画像が対象でしたが、より多くの画像を保護するにはデータベースのメモリ量や計算時間が 膨大なものとなるため、特徴量の次元数を効率よく削減するなど、メモリ量・計算時間の削減手法を検討します。

学会研究発表リスト 工藤護,工藤敬文,木下宏揚,森住哲也,  ”イラストの著作権保護のための局所特徴量を用いた 複製検出”,暗号と情報セキュリティシンポジウム (SCIS2012),4F1-4 MORIZUMI Tetsuya, KUDO Mamoru, SUZUKI Kazuhiro, KINOSHITA Hirotsugu :         “An electronic money system as substitute for banknotes”, International Symposium on Applications and the Internet(IEEE/IPSJ),ITeS 2010,pp.316-319(2010-7)