交番における手話から日本語への 変換システムの検討 坪川研究室 97Ｄ112 横田 歩
研究背景 手話と日本語を始めとする言語間の翻訳は重要 手話通訳をコンピューターで行う研究が注目されている
従来の問題点 日本語から手話への変換システムの開発が主 手話から日本語への変換システム 手話辞典、手話学習システム 等 手話辞典、手話学習システム 等 手話から日本語への変換システム 従来はデーターベース化して判別
交番 目的 聴覚障害者・健聴者間のコミニュケーションを支援する技術の開発 日常会話までを網羅することは困難 探す 必要な場所 駅・病院・郵便局・銀行 等
一連の動作すべてを認識しなくても判別可能にする 問題の解決法 意味を構成する情報 手の 開始位置 と 動作の軌跡 が重要 終了位置 一連の動作すべてを認識しなくても判別可能にする ニューラルネットワークで単語認識させる 情報欠如があっても認識可能
システムの概要図 動詞パラメータ 名詞パラメータ 動詞判断 ニューラルネットワーク 名詞判断 総合判断 判断結果 総合判断 結果表示
□ パラメータ □ 手の開始・終了位置 体に重なっている 体を4つの部分に分割 頭部・胸部・腹部・足 左右の情報を追加
追加情報として 手の形 使用している手 両手位置関係 グー パー グー（ほぼにぎっている） パー（ほぼ開いている） 両手か片手 両手の接触の有無 グー パー
動詞判断ニューラルモデル 開始 位置 終了 単語 判断結果 出力 パラメータ 入力 落とす 頭部 胸部 拾う 無くす 使用して 頼む いる手 両手位置 関係 開始 位置 終了 落とす 拾う 無くす 頼む 尋ねる 単語 判断結果 出力 パラメータ 入力
総合判断ニューラルモデル 総合判断 結果出力 落とす １ 拾う ２ 無くす ３ １５ 郵便局 1６ バス停 動詞判断 モデルの 出力値 名詞判断 モデルの 出力値 １５ 郵便局 1６ バス停
研究結果 ◆－動詞判断モデル ◆－総合判断モデル 動詞判断結果 学習1000回 学習：1000回
研究結果 ◆ －名詞判断モデル ◆－総合判断モデル 名詞判断結果 学習1000回 学習：1000回 0.97 0.98 0.95 0.96 研究結果 ◆ －名詞判断モデル ◆－総合判断モデル 名詞判断結果 0.96 0.93 0.95 0.98 0.97 0.82 学習：1000回 学習1000回
研究結果 －情報欠如・動詞 学習1000回
研究結果 －情報欠如・名詞 学習1000回
まとめ 一連の動作すべてを認識しなくても 手話の判別が可能であるパラメータを検討した 情報が欠落していても認識できた 今後の課題 実際の画像からの情報抽出 単語数の充実