イラストの著作権保護のためのHOG特徴量を用いた複製検出

Presentation on theme: "イラストの著作権保護のためのHOG特徴量を用いた複製検出"— Presentation transcript:

1 イラストの著作権保護のためのHOG特徴量を用いた複製検出
・原稿的なもの イラストの著作権保護のための局所特徴量を用いた複製検出について発表いたします。 工藤と申します。よろしくお願いします。 目的を明快に説明できるように？ 木下研究室　　工藤護　　２０１０７００８０

2 背景 電子書籍の発達や大型のイラスト投稿サイトの影響 でインターネット上に多くのイラストが存在している。
それと同時に不正なコピーによる著作権の侵害が問 題となっている。 その為、このような問題に対処し、著作権を守る必要 がある。 まず、研究の背景ですが、電子書籍の発達や大型のイラスト投稿サイトの影響でインターネット上に多くのイラストが存在しています。 それと同時にそれらの不正なコピーによる著作権侵害が問題となっており、 不正利用者はオリジナルのイラストをそのまま使うだけではなく、部分的に改変を加えたり、 手書きでコピーをして用いることが多くなっています。 そのため、このような問題に対処し、著作権を守る必要があります。

3 背景 画像の著作権を保護する方法として、電子透かしや 画像検索に基づく複製検出などの手法、「線画の著 作権保護のための部分的複製検出法」などの研究が なされている。 しかし、電子透かし等では手書きで模写し、改変を加 えた場合など複雑な変化があった場合の検出が難し くなっている。 画像の著作権を保護する方法として、電子透かしや画像検索に基づく複製検出などの手法、 線画の著作権保護のための部分的複製検出法などの研究が行われています。 しかし、従来手法では手書きで模写し、改変を加えた場合など複雑な変化があった場合の 検出が難しくなっている。

4 目的 保護対象の画像コンテンツとして、アニメや漫画などで用 いられるイラストコンテンツを対象とする。
オリジナルイラストの輪郭線や構図を複写や模写し、オリ ジナルとは別の彩色を施すなどしたものをトレース画像と 定義。 データをそのまま用いる複製や画像を取り込むことによる 複製だけではなく、トレース画像の検出が可能な方式を目 的とする。 特徴量としてSURFとHOGを用いて比較検討を行う。 この研究の目的ですが、著作権保護の対象となる画像コンテンツとして、 アニメや漫画などで用いられるイラストコンテンツを対象とします。 オリジナルイラストの輪郭線や構図を複写や模写したものや、 それらにオリジナルと異なる彩色を施したものをトレース画像として定義します。 データをそのまま用いる複製やスキャナなどで画像を取り込んだ複製だけではなく、 トレース画像の検出が可能な方式を目的とします。

5 検出対象 検出の対象とする画像を、以下の図のように定義。 サイズ・角度の 変化や部分的な抜き出し WEB上のデータ そのものや紙媒体
サイズ・角度の　変化や部分的な抜き出し WEB上のデータ そのものや紙媒体 オリジナル 画像 輪郭線や構図の手書きによる模写 ・データをそのまま ・紙媒体をスキャン 検出の対象となる画像を以下の図のように定義します。 オリジナルのデータをそのまま用いたり、印刷や取り込みといった手段で複製したものを直接利用、 画像のサイズを変えたり、回転を加えたもの、一部分を抜き出したものなどを改変を加えた複製、 オリジナルの輪郭線や構図を手書きによって模写したものをトレース画像とします。 ・アニメーションか何かでそれぞれの説明追加 オリジナル の直接利用 改変を加えた複製 トレース画像 図1．検出対象の画像

6 提案方式 複製検出の手段として画像の特徴を数値で表した特 徴量、その一種である局所特徴量を用いる。 オリジナル画像 輪郭線 データベース
提案方式では、複製検出の手段として画像の特徴を数値で表した特徴量、 その一種である局所特徴量を用います。 図は特徴量を抽出する際の流れです。 まず、オリジナル画像から輪郭線を抽出し、そこから特徴量を抽出しデータベースに登録します。 輪郭線を抽出する際はソーベルフィルタを用いる。 輪郭線の 抽出 特徴量の 抽出 図2．特徴量抽出の流れ

7 提案方式 図3．複製検出の流れ オリジナル 複製の疑いがある画像 画像 輪郭線 輪郭線 特徴量 特徴量 データベース マッチング 投票
こちらが複製検出の流れを図に示したものです。 まずオリジナル画像から、輪郭線を抽出し、そこから特徴量を抽出してデータベースに登録します。 同様に複製の疑いがある画像からも輪郭線、特徴量の抽出を行います。 こうして得たデータベースと複製の疑いがある画像の特徴量の間でマッチングを行い、 特徴量が一致した数だけデータベースの画像に投票を行い、 得票数が多い画像を複製された可能性がある画像として表示します。 投票 複製検出 図3．複製検出の流れ

8 使用する特徴量 本研究では局所特徴量として、SURF・HOGの二種類 を用いる。

9 SURF ：Speeded-Up Robust Features
最も一般的な特徴量であるSIFTと比べて計算速度が 早い。 特徴点の位置、特徴点の輝度勾配の方向、スケール、 64次元の特徴を表すベクトルが抽出される。 使用する特徴量について簡単な説明を致します。 SURFは物体認識に用いる特徴点を求める画像処理のアルゴリズムです。 局所特徴量として一般的なSIFTと比べると計算速度が早いとされています。 特徴点の位置、特徴点の輝度勾配の方向、スケール、６４次元の特徴を表すベクトルが抽出されます。

10 処理過程 （x,y）座標 特徴点の検出 σ スケール 向きの検出 角度 特徴量の抽出 16*4の64次元ベクトル 図4．SURF処理過程
まず、画像のｘ，ｙ座標で特徴点を検出し、 特徴点での輝度勾配の方向を検出します。 その向きを元に６４次元のベクトルで特徴量を抽出します。 特徴量の抽出 16*4の64次元ベクトル 図4．SURF処理過程

11 HOG：Histograms of Oriented Gradients
物体の大まかな形状を表現可能で、一般に歩行者や 人工物などの物体を検出するのに使用され文字認識 などにも用いられる。 輝度勾配ヒストグラムを正規化することで明るさの変 化にも対応可能と言われている。 次にHOGについての説明に移ります。 HOGは画像の局所領域から輝度勾配・輝度強度を取り出す特徴量です。 物体のおおまかな形状を表現可能で、一般に歩行者や人工物などの物体を検出するのに使用され、 文字認識などにも用いられます。 輝度勾配ヒストグラムを正規化することで明るさの変化にも対応可能と言われています。

12 全てのヒストグラムを統合して特徴量にする
処理過程 局所領域をブロック・セルに分割 ブロックを移動し、セルの中での 輝度勾配ヒストグラムを計算 ブロックごとに正規化 HOGの処理過程は図のようになります。 まず、局所領域をブロックに分割し、そのブロックをセルに分割します。 ブロックを移動し、セルの中での輝度勾配ヒストグラムを計算し、それをブロックごとに正規化します。 2つめと3つめの工程をすべてのブロックで適用し、最終的にすべてのヒストグラムを統合して特徴量にします。 全てのヒストグラムを統合して特徴量にする 図5．HOG処理過程

13 実験条件 データベースには100枚のオリジナル画像から抽出 した輪郭線の特徴量を登録。
図１で定義した検出対象の画像の特徴量とマッチング を行う。 検索質問とデータベースに登録した特徴量を照合し て、著作権保護の対象に一致した数だけ投票を行う。 以下は実験の条件になります。 データベースには１００枚のオリジナル画像から抽出した特徴量を登録します。 先ほど図１で定義した検出対象の画像の特徴量とマッチングを行います。 検索質問とデータベースに登録した特徴量を照合して、著作権保護の対象に 特徴量が一致した数だけ投票を行います。

14 オリジナルの直接利用の検出 まず、オリジナル画像の直接利用をした場合の検出 する際の有効性の検証を行う。
クエリとしてオリジナルのデータをそのまま利用したも の、印刷･取り込みをして複製したものを用いる。 ここからは、実験結果になります。 まずオリジナルの直接利用の検出についての検証です。 クエリとしてオリジナルのデータをそのまま利用したもの、印刷/取り込みをして複製したものを用います。

15 オリジナルの直接利用の検出 どちらの特徴量も共に一致率90%を超え、一致率1位 の画像とオリジナル画像は一致した。
2位以下の画像の一致率についてはSURFが1%以下、 HOGが10%程度となって 　おり複製の検出に十分 　有効と考えられる。 図は得票数が1位の特徴量の一致率になります。 ＳURF、HOGどちらの特徴量も一致率が90%を超え、一致率1位の画像とオリジナル画像は一致しました。 また、得票数2位以下の画像との一致率は、SURFが1%以下、HOGが10%程度となり 複製の検出に十分有効と考えられます。 図6．オリジナルの直接利用の検出

16 改変を加えた複製の検出 次に、オリジナル画像に改変を加えた場合の複製の 検出する際の有効性の検証を行う。
用いるクエリは、以下の画像を用いる。 　①オリジナルのサイズを1/2倍、2倍にしたもの。 　②30度、60度、90度の回転を加えたもの。 　③画像の一部分を抜き出したもの。 次にオリジナル画像に改変を加えた場合の複製についての検証を行います。 用いるクエリは、以下の3種類です。 まずオリジナルのサイズを1/2、2倍にしたもの。 画像に30度、60度、90度の回転を加えたもの。 画像の一部分を抜き出したものとなります。

17 改変を加えた複製の検出 図7．サイズを変えた 複製の検出 図8．回転を加えた 複製の検出 図9．一部抜き出した 複製の検出
以下はそれぞれの場合の投票数が1位の一致率のグラフになります。 図7．サイズを変えた 複製の検出 図8．回転を加えた 複製の検出 図9．一部抜き出した 複製の検出

18 改変を加えた画像の検出 ①の場合はSURFが95%、HOGが90%程度の一致率 となり、2位以下の一致率についてはSURFが1%以下、 HOGが10%程度となった。 ②の場合はこちらもSURF95％、HOG90％程度と なっており、2位以下については同様にSURFが1％以 下、HOGが10％程度となった。 ③の場合はSURF92％、HOG88％程度となっており、 2位以下はこちらもSURGが1％以下、HOGが10％程 度となった。 サイズを変えた場合はSURFが95%、HOGが90%程度の一致率、 回転を加えた場合はSURF95%、HOGが90%程度の一致率、 そして部分的に抜き出した場合はSURFが92%、HOGが88%程度となりました。 投票数が2位以下の画像についてはどれもSURFが1%以下、HOGが10%程度となりました。

19 トレース画像の検出 最後にトレース画像の検出する際の有効性の検証を 行う。
用いるクエリは、オリジナル画像の輪郭線部分を手書 きによって模写したものを用いる。 最後にトレース画像の場合の検証を行います。 クエリはオリジナル画像の輪郭線部分を手書きで模写したものを用います。

20 トレース画像の検出 SURFの場合一致率が20％程度となり、1位の画像が オリジナル画像と異なっていることが多くなっている。
HOGの場合一致率70％程度となっており、2位以下 　の画像は一致率10％程度 　となった。 図は得票数1位の特徴量の一致率です。 SURFの場合一致率が20%程度となり、1位の画像でもオリジナルの画像と異なる場合が多くなっています。 HOGの場合は一致率が70%程度で、2位以下については10%程度となりました。 図11．トレース画像の検出

21 対象画像に対する特徴量の適性 SURF HOG 直接利用 ○ 改変を加えた複製 トレース画像 ×
表で特徴量ごとのそれぞれの画像に対する適性？をマルバツで

22 考察 実験からSURF、HOGともにオリジナルの直接利用や 回転やサイズの変化等の改変を加えた画像に対して は有効だということが判明。
若干精度が下がったのは、近似最近傍探索を用いて いることで本当の最近傍が得られていない事によると 考えられるが、ユーザが最終的に画像のチェックをす るため高速化によるメリットのほうが大きいと考えられ る。 今回の実験から、SURF、HOGどちらの特徴量もオリジナルの直接利用や改変を加えた画像に対しては有効だとわかりました。 若干精度が下がったのは、検索時間の短縮のために近似最近傍探索を用いたことで本当の最近傍が得られていない ことによると考えられますが、ユーザが最終的に画像のチェックをするので高速化によるメリットのほうが大きいと考えられます。

23 考察 トレース画像に対して ・SURFでは手書きによる線のぶれ（位置ずれや形状 の変化）に対応できず検出が困難。
　 の変化）に対応できず検出が困難。 　・HOGでは複製の検出が可能だが、より高い精度で 　 の検出が求められる。 トレース画像については、SURFの場合は手書きによる位置ずれや形状の変化といった 線のブレに対応できず検出が困難となりました。 HOGの場合は検出が可能ですが、より高い精度の検出が求められると考えられます。

24 まとめ 比較的変化が少ない複製に対してはSURFとHOGど ちらの特徴量も有効である。

25 今後の課題 HOGで局所領域の抽出の際、線分が十分含まれて いなかった為、精度が落ちたと考えられる。
　　　→線分を十分含んだ領域の抽出方法の検討。 データベースのメモリ量や計算時間が膨大なものとな る。 　　→特徴量の次元数の効率のよい削減など、 　　　　 メモリ量・計算時間の削減手法の検討。 今後の課題としては、局所領域の抽出の際、線分が十分に含まれていなかったため、精度が落ちたと考えられるので、 線分を十分に含んだ領域の抽出方法の検討します。 また、今回は100枚の画像が対象でしたが、より多くの画像を保護するにはデータベースのメモリ量や計算時間が 膨大なものとなるため、特徴量の次元数を効率よく削減するなど、メモリ量・計算時間の削減手法を検討します。

26 学会研究発表リスト 工藤護,工藤敬文,木下宏揚,森住哲也,
　”イラストの著作権保護のための局所特徴量を用いた 複製検出”,暗号と情報セキュリティシンポジウム (SCIS2012),４F1-4 MORIZUMI Tetsuya, KUDO Mamoru, SUZUKI Kazuhiro, KINOSHITA Hirotsugu ： 　　　　　　　 “An electronic money system as substitute for banknotes”, International Symposium on Applications and the Internet（IEEE/IPSJ）,ITeS 2010,pp (2010-7)