画像ピボットパラフレーズ抽出に向けて 大阪大学 NAIST Chenhui Chu,1 大谷 まゆ,2 中島 悠太1 chu@ids.osaka-u.ac.jp, otani.mayu.ob9@is.naist.jp, n-yuta@ids.osaka-u.ac.jp 1大阪大学, 2NAIST 1. パラフレーズと自然言語処理 4. Flicker30kエンティティデータセット [Plummer+ 2016] パラフレーズとは同じ意味を持つ異なるテキスト表現 様々な自然言語処理のタスクで活用 (how, ways) (to live with, get along with) (cat, feline) (allergies, allergens) クエリの拡張による質問応答 [Riezler+ 2007 etc.] polemic about ||| 論争 ・・・ controversy over → polemic about → → 論争 ❌ 入力 パラフレーズ 翻訳モデル 出力 エンティティ（名詞句）とイメージリジョンの対応関係は人手でアノテーション 訓練：29,783、開発：1,000、テスト：1,000 機械翻訳 [Chu+ 2016 etc.] 2. 本研究のモチベーション 5. Flicker30kエンティティのアライメント 多くの言語・ドメインにおいて大量に収集可能 GIZA++ [Brown+ 1993] 5.1 ワードアライメント 画像と関連する 複数のテキストのペア イメージリジョンをピボットすれば パラフレーズを抽出可能 A boy in a red shirt sledding down a sand dune . “a sand dune” A snowboarder flies through the air in a mountain landscape ＝ = A man jumping in the air on a snowboard “A snowboarder” = “A man on a snowboard” A child is sliding down a hill on a sled . “a hill” フレーズとリジョンのアライメント問題 大量のパラフレーズが存在 3. 先行研究との比較 エンティティとリジョンのアライメント [Plummer+ 2016] https://github.com/BryanPlummer/pl-clc 5.2 リジョンピボット A man jumping in the air on a snowboard A snowboarder flies through the air in a mountain landscape 画像と関連する 複数のテキストのペア 画像リジョンピボットパラフレーズ抽出 (“A snowboarder” = “A man on a snowboard”) 本研究 先行研究 単言語コーパス 分布類似度(noisy) (“boy” = “girl” “rise” = “fall”) 対訳コーパス (希少) En1: the overall employment and unemployment figures Ja1: 全体的な雇用者と失業 者数 En2: number of unemployed (not seasonally adjusted) Ja2: 失業者数（季節調整されていない） バイリンガルピボット (“unemployment figures”= “number of unemployed”) En1: young boys like playing soccer En2: this young girl plays piano every day En3: the horse rose on its hind legs En4: he fell down from a horse [Lin+ 2001 etc.] [Ganitkevitch+ 2013 etc.] 自然言語と画像理解 (画像キャプション生成、ビジュアル質問 応答、マルチモーダル機械翻訳等) 自然言語理解 (情報検索、質問応答、 機械翻訳、文章 要約、テキスト簡単化等) A boy in a red shirt sledding down a sand dune . “a sand dune” “a hill” = A child is sliding down a hill on a sled . 6. 実験結果と今後の課題 6.1 Flicker30kエンティティアライメントの結果 6.3 リジョンピボットの例 (ワードアライメントでは取れない例) 手法 適合率 再現率 F値 ワードアライメント 0.8330 0.5821 0.6853 リジョンピボット 0.8147 0.5283 0.6409 6.2 ワードアライメントの例 (リジョンピボットでは取れない例) 正しい例 間違った例 a group of men a group of people a man several people a motorcycle a motorbike gymnastics the air three men workers food the restaurant an asian woman a girl a table a drink the streets a busy street midair “a rock face” “a rock climbing wall” = “a brightly colored backdrop” “a colorful backdrop” = “the ocean” “a beach” = 6.4 今後の課題 エンティティ間とリジョンのジョイントアライメント エンティティ（名詞句）以外のパラフレーズの抽出と評価 WebやSNSなどのノイズが多いデータへの対応 YANS 2017, Naha, Sep. 4, 2017