黒岩・堀内 研究室 音と画像（視聴覚）によるコミュニケーション ・ AI (Artificial Intelligence) ・ HCI (Human Computer Interaction) 黒岩 眞吾 ・話者認識・音声認識・音信号処理 ・会話ロボット（失語症者支援） ・機械学習・多メディア情報検索.

Presentation on theme: "黒岩・堀内 研究室 音と画像（視聴覚）によるコミュニケーション ・ AI (Artificial Intelligence) ・ HCI (Human Computer Interaction) 黒岩 眞吾 ・話者認識・音声認識・音信号処理 ・会話ロボット（失語症者支援） ・機械学習・多メディア情報検索."— Presentation transcript:

1 黒岩・堀内 研究室 音と画像（視聴覚）によるコミュニケーション ・ AI (Artificial Intelligence) ・ HCI (Human Computer Interaction) 黒岩 眞吾 ・話者認識・音声認識・音信号処理 ・会話ロボット（失語症者支援） ・機械学習・多メディア情報検索 堀内 靖雄 ・福祉情報工学 ・音声・手話（話し言葉）の分析・応用 ・伴奏システム

2 AI Laboratory 話者認識・感情認識・心の健康判 定 科学警察研究所 と共同研究中 話者認識＝声を用いた個人認証手段 犯人の声（声紋）を コンピュータで自動鑑 定 声紋を分析 ↓ 犯人を特定 犯罪捜査を 強力支援 声紋 犯人 2 注目テーマ： ２人が同時に話しても、誰と誰の声かを認識

3 AI Laboratory { 音声 | 話者 | 手話 | イラスト } 認識アルゴリズ ム 3 深層学習（ディープラーニング） ディープニューラルネットワーク Graphical Model ビッグデータ（信号）を利用した、統計的モデルと機 械学習 Output data Input data 音に関する信号なら何でも対応しま す！ 結合因子分析と確率的判別分析 固有声と話者適応、 i-vector 潜在意味解析 GPGPU やクラスタを用いた並列計算 注目テーマ：少数データでの個人適応モデルの学習

4 失語症者向け 「絵カードを用いた言語訓練アプリ」＋Ｓ ＮＳ ActVoiceSmart + ActVoiceNet 失語症者、御家族、言語聴覚士、ボランティアを 繋ぐ 礎と、訓練者同士の励まし合いの場に ! 高齢者も、障碍を持つ人も、ひきこもりの若者も、自分の得意な ことで 誰かのために何かができるネットワークの構築

5 5  何かはわかっているので「質問には解答でき る」  候補が提示されれば「名称を思い出せる」 卵焼き 目玉焼き 茶碗蒸し かにたま オムライス 主食ですか？ はい いいえ わからない 卵は使いますか？ はい いいえ わからない 何かはわかっているけれど、名称が出てこな い 失語症者向け「思い出し支援アプ リ」

6 RoboCure Pepperを活用した言語障害治療の強み Pepperを活用した訓練には、以下のような利点があります。 １ １ 2 2 人ではできない優しさがあります （逆に人よりも優しくできることもあると考えています） 人型ロボットならではの温もりのある訓練ができます。 Pepperなら患者さんも触りたくなります。 ３ ３ 感情を読み取り、褒めたり待ってあげる事ができます。 共同研究 : 2014 年 12 月情報の OB らがベンチャー企業発足！ 千葉大開発の アンドロイドアプリ 会話ロボット

7 Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University 聴覚障がい者支援技術 – 手話認識（みずほ情報総研と共同研究） 福祉情報工学 NHK 首都圏ネットワーク NHK 手話ニュース

8 Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University 聴覚障がい者支援技術 – 手話認識（みずほ情報総研と共同研究） – 手話アニメーション 視覚障がい者支援技術 – 音声読み上げ – 仮名漢字変換 福祉情報工学

9 Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University 音声・手話（話し言葉）の分析・応用 話し言葉（日常的に使っていることば） 言語情報（文字で書ける情報） ＋ イントネーション，速度，間，視線，うなずき， ジェスチャ，表情 など を利用してコミュニケーション ・聞き取りやすい合成音声／見やすい手話 CG ・感情認識／感情表現 人間らしい対話ロボットの実現へ！

10 Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Yasuo Horiuchi Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University Chiba University 伴奏システム ● 人間と合奏するコンピュータ – 伴奏システムの構築 – 人間同士の合奏の分析・モデル化 人間のピアニストのようなシステムの実現！