Deep learningによる 読唇システム

Presentation on theme: "Deep learningによる 読唇システム"— Presentation transcript:

1 Deep learningによる 読唇システム
情報理工学部 機械情報工学科 H412092　パリアスカ　ケンジ

2 研究背景 近日、画像認識や音声認識の分野において注目を集めているDeep learningに興味を持った
⇒特徴:人手で行う必要があった特徴量を 　自動で発見 パラメータ更新 入力層 出力層 中間(隠れ)層

3 研究目的 特定の画像の分類だけではなく、ある一連の流れの画像分類に よって読唇術への可能性を探る
⇒読唇術:相手の唇の動きなどを見て、言葉を読み取る技術

4 研究の流れ 1.学習データの素材作成 2.学習モデル(分類器)の作成 3.検証

5 1.学習データの素材作成

6 作成の流れ ①不特定多数の読唇を想定し、あらかじめ決めた特定の幾つか の単語を発声する唇周りのみをスマートフォンなどで撮影
①不特定多数の読唇を想定し、あらかじめ決めた特定の幾つか　　　　　 の単語を発声する唇周りのみをスマートフォンなどで撮影 ②撮影した動画にOpenCVを用いて編集

7 編集の内容 動画をモノクロに変換 上下左右余分な部分のクリッピング それぞれの動画が大体1秒だったのでばらつきが出ないよう、
①各単語10枚(1枚:40x40)の画像シーケンスを作成 ②その後、10枚を横に繋げた1枚(400x40)にし、データ用の画像を作成

8 単語の内容 使う単語を最小限に抜粋、①、②、③とグループ分け ①安全(anzen)-万全(banzen)-簡単(kantan)
②変装(hensou)-変更(henkou)-観光(kankou) ③触る(sawaru)-変わる(kawaru)-終わる(owaru)

9 グループ分けの関係性 使う単語を最小限に抜粋、①、②、③とグループ分け ①安全(anzen)-万全(banzen)-簡単(kantan)
②変装(hensou)-変更(henkou)-観光(kankou) ③触る(sawaru)-変わる(kawaru)-終わる(owaru)

10 グループ分けの関係性 使う単語を最小限に抜粋、①、②、③とグループ分け
①安全(anzen)-万全(banzen)-簡単(kantan) (50枚)x3 ②変装(hensou)-変更(henkou)-観光(kankou) (50枚)x3 ③触る(sawaru)-変わる(kawaru)-終わる(owaru) (50枚)x3 ⇒それぞれ3クラスの分類器①、②、③とする

11 2.学習モデル(分類器)の作成

12 Labellio Alpaca社がリリース 分類器作成におけるデータ整理が容易
学習結果をダウンロードし、Caffeなどの他のフレームワークで利用可能

13 Labellio 作成の流れ ①分類器の名前を指定し、データ画像(今回は各ラベル50枚)をアップ ロード
①分類器の名前を指定し、データ画像(今回は各ラベル50枚)をアップ　　　 ロード ②データ画像のあるフォルダのディレクトリがラベルとなり学習開始 分類器が完成 →学習データとは別のテスト用の画像を入力

14 3.検証

15 画像の入力 OpenCVを使用 ① ② ③ ③で出来上がった画像をテスト用画像として入力 ①webカメラの映像(グレースケール)を読み込み
②spaceキーを押してから10フレームを静止画として　　　保存 ③10枚の画像を1枚40x40に編集、横に繋げ学習データと同様のサイズのデータを出力 ③ ③で出来上がった画像をテスト用画像として入力

16 Labellio ① ② 分類器の例(学習データ50x3に対し、各単語20枚のテスト画像) ① : 分類器名
　① : 分類器名 　② : Acc: →　分類器の精度 それぞれの分類器の精度 ①Acc:59% ②Acc:41% ③Acc:40% ① ②

17 正解率の比較(3つの分類器でテスト) それぞれのテストを入力したときの正解数 ①anzen：4回 banzen:10回 kantan:15回
②hensou:7回 henkou:5回 　　kankou:13回 ③sawaru:4回 kawaru:7回　　　owaru:10回

18 正解率の比較(混同行列) 出力 入力 出力 出力 入力 入力 ① anzen banzen kantan 6 8 7 9 4 2 14 ③
sawaru kawaru owaru 9 7 4 8 5 11 出力 入力 ② hensou henkou kankou 9 6 5 7 8 2 3 15 入力

19 正解率の比較(混同行列) ① anzen banzen kantan 6 8 7 9 4 2 14 ③ sawaru kawaru
owaru 9 7 4 8 5 11 ② hensou henkou kankou 9 6 5 7 8 2 3 15

20 結果 ①、②、③すべてのグループにおいて正解数 ⇒子音のみ<子音と母音
よって子音のみだとあまり変化がなく、それに加え母音が変わること での唇の動きが大きく影響 ⇒視覚での読唇には限界がある

21 考察 子音のみの変化では正解率の精度が低い 子音と母音が変わる場合でも余り精度が高いわけではないので 読唇にはまだむかない
　読唇にはまだむかない ⇒データ数、学習回数の増加で向上

22 展望 画像認識に加え音声認識の実装 ⇒唇の動きのみではなく、声も認識による精度向上
Labellioから得ることができる、Caffe用の学習モデルをファインチュー ニングしCaffeで認識 ⇒ラベル数、データ数に合わせた学習回数などの変化による　 　精度向上 時系列を持つデータに対するDeep learningの内、RNNの利用

23 RNN(リカレントニューラルネットワーク)
言葉や音楽のように時系列で相関を持つデータにおいて、前に発生した データを考慮 ⇒例:「名詞」の後には「助詞」が来ることが多い NNに、前に発生したデータを投入 ⇒時刻tの隠れ層の内容が、次の時刻t+1入力として扱われ、 　t+1の隠れ層がt+2の・・・と続いてく学習 　時間的に変更するデータに意味を見出す 精度向上により、読唇が可能になるのではないか