～Information hiding -meta data hiding- ～

Presentation on theme: "～Information hiding -meta data hiding- ～"— Presentation transcript:

1 ～Information hiding -meta data hiding- ～
Damage-less watermark extraction using non-linear feature extraction scheme trained on frequency domain ～Information hiding 　 meta data hiding-　～ Graduate School of Media and Governance Kensuke Naoe

2 Agenda 今までの研究の話 電子透かしとは ニューラルネットワークについて 修士時代の研究 今やっている（やってみた）研究 発見したこと

3 Background コンピュータやインターネットの急激な普及に伴い，マルチメディアコンテンツを容易に作成，配布できるようになった．
注目されてきているのが，ディジタルコンテンツの販売． iPod，Gyao，いまだとYouTubeとか？ コピーコントロール技術は敬遠される 電子透かしの創世記 NapstarやGnutellaなどのP2Pファイル共有システムが問題 コピーコントロールとよく勘違いされる． 国内でもWinMXやWinnyが流行り，著作権という問題が注目されている．

4 電子透かしの用途 不正な複製，改変，配布に対する抑止力 正当なユーザへの所有権，著作者の真贋，トラッキング
暗号（PKI，電子署名）や電子透かしを組み合わせたセキュリティ強度の高い著作権処理システム

5 電子透かしとは 「人間の知覚（視覚・聴覚）の特性を利用し，静止画，動画像，オーディオなどのディジタルコンテンツに対して，コンテンツ自体とは別の情報を，人間に知覚出来ないように埋め込む技術をいう」 　　　　　　　　　電子透かし技術に関する調査報告書 平成13年3月 社団法人　電子情報技術産業協会

6 暗号技術との類似性 暗号 電子透かし コンテンツが暗号化されていることは明らかに認識できる．また，コンテンツを秘匿したい．
コンテンツは出来るだけ影響されずにそのままの状態． コンテンツとは別の情報が埋めこめられていることが認識できない． 埋め込むデータを秘匿したい．

7 デジタル署名との類似性 別の情報をコンテンツに添付する デジタル署名 メタデータ 電子透かし
コンテンツに添付するのでファイルサイズ（ビット数）が増加し，署名部分だけを削除することが容易 メタデータ 多くの場合がデジタル署名と似た性質がある 電子透かし ファイルサイズは増加せず，透かしだけの除去も困難

8 電子透かしに関する勘違い 電子透かし技術は暗号・デジタル署名と併用できる
デジタル署名を電子透かし技術で埋め込む 電子透かしの入ったコンテンツを暗号化して配布 電子透かしはそれらの技術を補完する技術であって，代替するものではない．

9 電子透かしの特徴 コンテンツの種類によって埋め込み・抽出手法が異なる． 利用形態に応じて，柔軟に対応出来たほうがいい
画像なのか，動画なのか，音声なのか ファイルサイズや利用条件 利用形態に応じて，柔軟に対応出来たほうがいい 複数の可変要素を持たせる アルゴリズムで対応させる 数学的理論によって強度を保証出来る暗号と違う アルゴリズムを独自の非公開のものにすることが多い

10 インフォメーションハイディングとは コンテンツに対してデータを秘匿的に埋め込む技術 Robust watermark
Fragile watermark Semi-fragile watermark Steganography 電子あぶり出し，深層暗号

11 別のカテゴライズとして 不可視・高耐性 著作権保護 不可視・低耐性 改ざん防止 可視・非可逆 所有権者表示 可視・可逆 コンテンツ配布

12 電子透かしの要件 コンテンツ自体への埋め込み 耐性 コンテンツ品質 埋め込み情報容量

13 電子透かし応用例 付属情報付加モデル 機器制御モデル コピープロテクション 有害コンテンツのフィルタリング メタ電子透かし 著作権主張モデル
撮影情報付加 説明付加 字幕付加 吹き替え音声付加 CM付加 立体情報付加 議事録発言付加 個人情報付加 機器制御モデル コピープロテクション 有害コンテンツのフィルタリング メタ電子透かし 著作権主張モデル 不正利用の心理的抑制 不正利用の監視 著作権明示，サンプル画像の配布 原本性確認モデル 写真画像の改ざん検知 デジタル画像の改ざん位置検出 Webページの真正性確認 情報の復元 メディアリンクモデル 商品の販売促進 現代版ステガノグラフィー

14 埋め込み抽出技術の概要 デジタル画像 動画像 音声 文章

15 埋め込む情報の形態 数字，文字コード，バイナリデータ 図形 識別のためのパターンやマーク

16 電子透かしの仕組み（画像での例） 直江健介 透かし情報 直江健介 透かし情報 透かしの復元に 必要となる 復号鍵の生成 復号鍵がないと
透かしを復元できない 透かしの埋め込み 透かしの復元 元の画像 電子透かしが 埋め込まれた画像 （不可視） 電子透かしが 埋め込まれた 画像が改変 著作権管理に用いるためには、透かし情報がいかなる処理を施しても頑健にコンテンツに存在し続ける必要がある ＝ロバスト性

17 直江の研究 Damage-less watermark extraction using
コンテンツに対して埋め込みをまったく行わない Non-linear feature extraction scheme 埋め込まないとなると，ある程度特徴を認識しないと 画像は多次元かつ複雑な要素を持っているので，分類するには非線形分離 Trained on frequency domain ニューラルによる学習で実現しよう

18 どこにニューラルの入る余地があるか 周波数変換後の画像の、特定領域の特徴情報をニューラルネットワークへの入力とし、透かし情報を応答とするパターン認識問題として捉える 学習による分類器（鍵）の生成 パターン分類（認識）による透かし情報の復元 画像の特徴情報は複雑かつ似た性質を持つ可能性があるため、非線形分離性が必要 階層型ニューラルネットワークの多層パーセプトロンによるパターン分離 バックプロパゲーション学習 教師付き学習，パターン分離や関数近似が得意 三層以上は非線形分離が可能 Watermarkとsteganographyの両方になりうる

19 XOR問題をbackpropagation学習で解いてみる

20 ニューラルネットワーク ニューロン（神経細胞） ニューロンにより形成されたネットワークをモデル化したものをニューラルネットワークと呼ぶ
電気信号の入力と出力という単純な作業しか出来ない 有機的に接続されたネットワークを形成すると，様々な複雑な処理が可能 ニューロンにより形成されたネットワークをモデル化したものをニューラルネットワークと呼ぶ

21 ニューラルネットワークモデル ニューロンのモデル シナプス結合の形態 ニューロンと結合によるモデルの違い
バイナリモデル(Hopfield, McCulloch&Pitts) シグモイドモデル Radial Basis Functionモデル 競合ニューロン シナプス結合の形態 リカレントモデル 階層型パーセプトロン フィードフォワード フィードバック ニューロンと結合によるモデルの違い 状態遷移モデル Hopfield　連想記憶，最適化問題　Hebb則 競合学習モデル Self Organization Map　自己組織化マップ　教師なし学習 信号伝播モデル パーセプトロン　(rosenblatt) 一般δルール Rummelhart

22 3層パーセプトロン 3層構造 フィードフォワード型 ニューロンの入出力関数 Backpropagation 学習 出力層 中間層 （隠れ層）
シグモイド関数 Backpropagation 学習 入力層

23 シグモイド関数 多層パーセプトロンのニューロン入出力関数 シグモイド(sigmoid) = S字 x y

24 ネットワークの計算 ニューロンの入力値 前層のニューロン出力と結合係数の積和 yj j xj wNj w1j wij y1 yN yi

25 パーセプトロンの動作 結合係数(Wij)の値によって最終出力が変わる どのように結合係数を決めてやるか？ → 学習させる 0.88 0.62
0.89 1.0 -1.0 2.0 2.0 0.5 0.67 0.18 結合係数(Wij)の値によって最終出力が変わる どのように結合係数を決めてやるか？ → 学習させる

26 Backpropagation 学習 多層パーセプトロンの学習則 教師付き学習 教師信号との誤差を逆方向に伝播して結合係数を修正する 1.0
入力 信号 2.0 0.5 0.9 -0.8 1.9 1.3 -0.9 1.0 -1.0 2.0 出力 信号 0.67 誤差

27 提案手法（修士論文） フィルタ処理に特化したロバスト性の高い電子透かしの実現を最大の目標 JPEG圧縮やフィルタ処理に対応するために特化した

28 提案手法の手順 埋め込み処理 画像の周波数変換処理 鍵穴ブロックと鍵穴の位置情報埋め込みブロックの選定 鍵穴の位置情報の埋め込み 鍵の生成
画像の再構成 復元処理 １．　画像の周波数変換処理 ２．　鍵穴の位置情報の取り出し ３．　埋め込み処理４．で作った復号鍵を用いて透かし情報の復元

29 提案手法の手順（埋め込み処理） B A １．画像の周波数変換処理（変換、量子化） ２．鍵穴ブロックと 鍵穴の位置情報埋め込みブロックの選定
　　鍵穴の位置情報埋め込みブロックの選定 鍵穴の位置情報 B ４．鍵穴ブロックから透かし情報を認識する 　　分類器の生成 ３．鍵穴の位置情報の 　　埋め込み A 透かし情報 学習後の 結合係数群 鍵穴の位置情報を埋め込んだ画素の位置情報 ５．画像へ再構成（量子化＞逆量子化、変換＞逆変換）

30 鍵穴ブロックから鍵を生成（１） ８ 鍵穴ブロックA 8x64 A 　　１．　鍵穴ブロックAに着目 拡大 B 8x64

31 鍵穴ブロックから鍵を生成（２） １．鍵穴ブロックに着目し 対角線の係数をBack Propagationへの入力とする
　　　　　　例：１０１１０１０１） ３．学習後の結合係数と鍵穴の 　　位置情報を復号鍵とする

32 階層型ニューラルネットワーク １ ０ １ １ ０ １ ０ １ ３層構造により収束を保証するわけではないが ある程度で学習を止めます。
透かし情報 １　０　１　１　０　１　０　１ ３層構造により収束を保証するわけではないが バックプロパゲーション学習モデルでは、入力信号として連続値を取り、 出力として離散的な応答をするために、閾値を設ける必要がある。 間違いパターンと比べて、概ね高い認識率を示した時点で学習が収束したとする。 ある程度で学習を止めます。 その閾値でパターン認識 ・鍵穴の対角線の係数を入力、透かし情報を教師信号とし 学習を行う。学習が収束した時の２対の結合係数U,Vを鍵として 外部で保持する

33 提案手法（復元処理） １．画像の周波数変換処理（変換、量子化） ２．鍵穴の位置情報の取り出し ３．鍵穴ブロックの特徴情報を適応信号処理の
入力とし、復号鍵である結合係数を用いて 出力応答として透かし情報を得る 鍵穴の位置情報を埋め込んだ画素の位置情報 透かし情報 復号鍵である ２対の結合係数群

34 復元処理 A B ブロックA 透かし情報 画像を周波数変換し、ブロックに分割する
鍵穴の位置情報を埋め込んだ画素の位置情報 ブロックA 透かし情報 A B 復号鍵である ２対の結合係数群 周波数変換後の画像 （ブロック分割） 画像を周波数変換し、ブロックに分割する 復号に必要となる「鍵穴ブロックA」の位置情報を持つ「ブロックBの位置」に関する位置情報を復号者は知っているためブロックAを探索可能 3.　　「鍵穴ブロックA」の対角線上の係数を適応信号処理の入力信号とし、復号鍵である結合係数群を用いて出力することで透かし情報得ることが出来る

35 評価実験 実験１　透かし情報の認識率 実験２　フィルタに対する耐性評価

36 実験１：透かし情報の認識率 透かし情報（ビット列）：１０１１０１０１ の復号実験 認識率 認識率 bit bit
透かし情報（ビット列）：１０１１０１０１　　の復号実験 認識率 認識率 bit bit 図1．透かし情報の入っているブロックから復号（1byteのデータ） 図2．まったく関係ないブロックから復号（1byteのデータ） 正しく復号できた 正しく復号できない

37 透かし情報の入った画像にデジタルフィルタをかけた後に透かし情報を復号できるか
実験２：フィルタに対する耐性評価 透かし情報の入った画像にデジタルフィルタをかけた後に透かし情報を復号できるか 認識率 図1．フィルタ処理前の画像 bit ハイパスフィルター処理後の認識率 図2.フィルタ処理後の画像

38 問題点 識別率が悪かった 学習の収束が遅かった
フィルタ処理を施さない段階においても，正しい入力に対する出力の認識率は隔たりがあり，いいブロックを選択する必要があった すくなくとも正しい入力のときは必ず正しい出力を得たい 学習の収束が遅かった 何を持って学習が収束したかの判断が難しかった

39 現在の研究 全く埋め込みをせず，特別な前処理をしないで学習，識別を目標とする 各種フィルタ処理に対する耐性がどの程度なのかを検討する
識別したい個数分を確実に分類できる分類器の生成を目的 ネットワークの構造をどう設計するかが鍵 学習の収束問題 バイアスニューロンを導入することですこしは解消 各種フィルタ処理に対する耐性がどの程度なのかを検討する

40 手順１ 8x64 周波数変換 8x64 拡大 512*512pixel元画像 サブブロックを拡大

41 手順２ 32個の特徴ブロックに対して教師信号（透かし情報）を割り当てる
手順２　32個の特徴ブロックに対して教師信号（透かし情報）を割り当てる x-axis y-axis coordinate teacher signal 58 64 (58,64) 00000 34 7 (34,7) 00001 43 30 (43,30) 00010 44 9 (44,9) 00011 61 46 (61,46) 00100 40 20 (40,20) 00101 5 (30,5) 00110 42 12 (42,12) 00111 63 13 (63,13) 01000 27 (27,43) 01001 25 (63,25) 01010 (34,5) 01011 35 (35,44) 01100 55 (25,55) 01101 (55,7) 01110 26 (35,26) 01111 x-axis y-axis coordinate teacher signal 53 25 (53,25) 10000 32 33 (32,33) 10001 8 58 (8,58) 10010 10 42 (10,42) 10011 51 14 (51,14) 10100 18 5 (18,5) 10101 36 52 (36,52) 10110 9 28 (9,28) 10111 (28,58) 11000 4 64 (4,64) 11001 26 (51,26) 11010 22 (36,22) 11011 50 21 (50,21) 11100 24 (64,24) 11101 6 40 (6,40) 11110 47 39 (47,39) 11111

42 Value of R in sub block (47, 39)
223 215 221 220 213 217 216 218 219 222 224 214 212 211 210 202 201

43 Value of DCT coefficients in sub block (47, 39)
-2.8E-05 3.5E-05 -2.5E-05

44 Value of DCT coefficients in sub block (47, 39)
-2.8E-05 3.5E-05 -2.5E-05

45 1.046 0.0052 0.0023 0.0062 1.9063 0.0013 0.0002 1.7376 0.0016 -5E-05 -0.002 0.002 1.2571 -0.005 -3E-04 1.9143 0.0005 2E-05 1.0476 -0.003 1.8369 -0.001 0.0011 0.0004 0.8923 0.7736 -6E-04 1.5535 -0.004 1.4768 3.4E-06 0.0018 0.0035 1.8391 0.0009 -2E-05 0.9906 1.6185 0.007 0.0031 1.9066 0.0024 0.7409 -0.014 -1E-04 -0.008 0.8521 1.6249 0.6923 -8E-04 1.5181 1.0218 -0.007 1.8378 1.6508 -5E-04 1.6166 0.0114 0.0036 1.6881 0.0003 0.8011 0.0038 0.0001 0.7611 -4E-04 0.8714 0.0111 -7E-04 1.2619 -0.015 1.4328 0.0033 0.001 1.5284 0.0041 0.0028 1.7421 0.0026 0.0006 -3E-05 ３２入力

46 手順３　学習

47 ネットワーク１

48 ネットワーク２

49 ネットワーク３

50 ネットワーク４

51 ネットワーク５

52 実験３ ハイパスフィルタ処理を施した画像から透かしを抽出できるか ？

53 -0.001 -1.6E-06 3.84E-05 0.0002 0.0047 -7.3E-05 0.001 0.0006 3.8E-05 -0.002 0.7115 1.0425 0.628 1.1555 0.0035 1.045 3.4E-05 1.005 2.44E-05 0.0016 0.985 -8.1E-05 0.9915 0.011 1.2675 -0.014 -4E-05 入力

54 ネットワーク１ フィルタ処理画像 オリジナル画像

55 ネットワーク２ フィルタ処理画像 オリジナル画像

56 ネットワーク３ オリジナル画像 フィルタ処理画像

57 ネットワーク４ フィルタ処理画像 オリジナル画像

58 ネットワーク５ オリジナル画像 フィルタ処理画像

59 実験４ 識別したい識別子は32個（とりあえず） 512＊512の画像には8＊8pixelのサブブロックが4096個
5bitで実現できる それぞれ入力は特徴情報の８画素の値（入力は8ユニット） 出力が5ユニット x 1個のネットワークに32種の学習 出力が1ユニット x 5個のネットワークに32種の学習 出力が32ユニット x 5個のネットワーク　1回学習 512＊512の画像には8＊8pixelのサブブロックが4096個 ブロック全体の反応としてはノイズが好ましい

60 5bitとしての例： 1 a 2 b 3 c 4 d 5 e 6 f 7 g 8 h 9 i 10 j 11 k 12 l 13 m
14 n 15 o 16 p 17 q 18 r 19 s 20 t 21 u 22 v 23 w 24 x 25 y 26 z 27 . 28 , 29 ~ 30 @ 31 / 32

61 個々のブロックの出力イメージとして 8x64 31 25 12 32 17 14 6 11 15 29 22 13 7 27 18 19 24 2 28 1 21 30 3 16 26 8 5 23 20 10 4 9 1 ＝4096個のサブブロック 8x64

62 実験 32個のパターンを学習 画像に対して直接改変処理
4096個のブロックは32のどれかを出力する 画像に対して直接改変処理 個々のブロックが改変前に出力していた値と改変後に出力する値が変わっているかどうかを確認 入力を位置をランダムで決定した実験を20回行い，平均値を求めた

63 実験５　中間層=10　閾値=0.05

64 実験６　中間層=10　閾値=0.1

65 実験７　中間層=20　閾値=0.1

66 実験８　全体の誤認識ブロック

67 実験９　学習の閾値による違い

68 まとめ 画像に対して何も改変処理を施さない場合は，入力が正しものに関しては対応した正しい値が，それ以外の部分ではノイズになる
素直な使い方をすると攻撃に若干弱いようである Fragile watermarkに使えるかも しかし，ある程度保持し続けるので，すぐには透かしは壊れないので，semi-fragileといえる 全体ブロックの中には画像改変後にも同じ値を持ち続けるものが多数ある 逆にこのブロックを利用できないか