Entity-Centricな述語項構造解析・ 共参照解析の同時学習 柴田 知秀 黒橋 禎夫 京都大学/CREST 18/03/13

はじめに End-to-end全盛の時代に基礎解析の精度を上げることに意味があるのか? ニューラル翻訳のアテンションを可視化すると照応関係がわかっている [Vaswani+2017] すべてのタスクに大量の正解を用意できるわけではない (例: 対話) そもそも正解を与えられない (例： 情報集約)

述語項構造解析 (1/2) 「誰が何をどうした」を明らかにする解析 述語に対する項の位置によって以下に分類 直接係り受けあり (格解析) 直接係り受けなし (ゼロ照応解析) 文内ゼロ照応解析 文間ゼロ照応解析 ガ ガ コワリョフ 氏は 正式な 党員ではないが 、 ロシア 共産党から 立候補 した。 ガ エリツィン 大統領 の 立場を 支持して いた。

述語項構造解析 (2/2) ニューラルネットワークの利用により精度が向上している [Shibata+16,Iida+16,Ouchi+17,Matsubayashi+17] 文間は大変難しいことから文内に限定 文間の難しさ 文内で有効な手がかりが使えない (例:述語と項のパス) 候補が大変多い (話題の中心を捉える必要がある) → Entityという概念を導入 共参照解析も同時に考えないとentityを考えられない Entity-centricな述語項構造解析・共参照解析の同時学習を提案 (ヒューリスティックなsaliencyスコアは効かない[Sasano+ 11])

関連研究 共参照解析 述語項構造解析: 共参照解析を行っていない 他のタスクでのEntity-centricモデル LSTMを利用 Entity embeddingを学習 [Wiseman+ 16, Clark+ 16] 述語項構造解析: 共参照解析を行っていない 日本語: [Shibata+ 16, Iida+ 16, Ouchi+ 17, Matsubayashi+ 17] 中国語: [Chen+ 16, Yin+ 17] 他のタスクでのEntity-centricモデル テキスト理解 [Henaff+ 17, Wang+ 17, Kobayashi+ 16] 言語モデル [Ji+ 17, Kobayashi+ 17] LSTMを利用

提案手法 entity buffer ・・・ 著者 読者 党員 ロシア ガ ガ ガ コワリョフ氏 コワリョフ 氏 は 正式な 党員 で は ない が 、 ロシア 共産党 から 立候補 し 当選 した。 … … 同 氏 は 当選 まで … … 学者 。 ガ 共参照解析 述語項構造解析 エリツィン 大統領 の 立場 を 支持 して いた 。

目次 ベースラインモデル Entity-centricモデル 入力のencoding 共参照解析 述語項構造解析 Entity embedding 更新 解析におけるentity embeddingの利用

1. 入力のencoding 古典的機械学習: 見出し・品詞などの組合せ 素性を人手で設計 (feature engineeringが必要) → CNNとBi-LSTMで基本句のencodingを得る Bi-LSTM ・・・ CNN 単語(見出し) 品詞 コワリョフ 氏 は 正式な 党員 で は ない が

2. 共参照解析 先行詞候補の中から最もスコアの高いものを先行詞として採用 (mention-ranking model) 先行詞候補: 自分よりも前のmention, 外界(著者, 読者など), NULL(先行詞なし) スコア 対象 mention 先行詞候補 完全/部分一致, 文間距離, … 同氏 コワリョフ氏

3. 述語項構造解析 格解析とゼロ照応解析を同時に扱う 項候補: 自分より前のmention, 外界(著者, 読者など), NULL(項をとらない) スコア 述語 項候補 path embedding 選択選好, 文間距離, … 立候補し コワリョフ氏 コワリョフ 氏 P 党員 ・・・ 立候補 し

目次 ベースラインモデル Entity-centricモデル 入力のencoding 共参照解析 述語項構造解析 Entity embedding 更新 解析におけるentity embeddingの利用

1. Entity Embedding 更新 共参照解析 [Wiseman+ 16] ゼロ照応解析

1. Entity Embedding 更新 共参照解析 [Wiseman+ 16] ゼロ照応解析

2. 解析におけるEntity Embeddingの利用 共参照解析 述語項構造解析 entity embeddingと対象mentionのembeddingの内積を計算し、ベース ラインモデルで計算したスコアに加算 [Wiseman+ 16]

実験設定 評価コーパス: 対象の格: ガ, ヲ, ニ, ガ2 外界照応: 著者, 読者, 不特定：人 次の3つの手法を比較: ウェブ: 京都大学Webリードコーパス (1.5万文) 新聞: 京大コーパス (5千文) 対象の格: ガ, ヲ, ニ, ガ2 外界照応: 著者, 読者, 不特定：人 次の3つの手法を比較: ベースライン: mentionベース +entity (CR): 共参照解析でentityを考慮 [Wiseman+16] +entity (CR, PA): 共参照・述語項構造解析でentityを考慮 ガ 魚をさばくのは難しい。

実験結果 ウェブ 新聞

正解例 誤り例 ムルジは、バンダが政府を去った後、ＵＤＦを率いるとともに民主主義の代弁者となった。 述語項構造: ベースライン 提案手法 正解例 共参照解析: ムルジは、バンダが政府を去った後、ＵＤＦを率いるとともに民主主義の代弁者となった。 しかし、ムルジの大統領としての日々は、論争とスキャンダルに費やされた日々でもあった。 特に、国中に飢饉をもたらした旱魃が始まる直前に、他国へトウモロコシの備蓄を売却していたことが問題となった。 ガ○ ガ× 不特定:人 誤り例 著者 ガ× 不特定:人 → 大域的なトレーニング 毎日のように通院ですよ！ 私自身は とても 健康なんですけど。 NULL ノ → 橋渡し照応解析 大変印象的ドレスです。 オーガンジーの上にラインを描くように小さな ビーズで装飾されています。 ガ×

まとめ Entity-Centricな述語項構造解析・共参照解析の同時学習モデルを提案 文間ゼロ照応解析の精度を大幅に向上 今後の課題 大域的なトレーニング 橋渡し照応解析 事態間知識などの知識の利用 例: Xが小型化 → Xが普及