談話構造コーパスの設計 および作成 2010/2/18 H20802m 認知科学専攻　奥村泰章

発表の構成 １．談話構造について ２．コーパス設計のための分析とその結果 ・修辞関係について ・修辞関係を推定するための情報について おまけ．システム試作 コーパス

目的 談話構造が付与されたコーパスを作成する →機械的に談話構造を推定するシステムのためのデータベースとなる そのために…… 　→機械的に談話構造を推定するシステムのためのデータベースとなる そのために…… 　修辞関係のセットを定める 　修辞関係の推定に必要な情報を明確化 応用を射程に入れたギリギリの基礎

談話構造とは ・文章は少なくとも二つのレベルの構造を持つ ・文章全体の大局的な構造 ・局所的な文と文のつながり ・修辞関係 　・文章全体の大局的な構造 　　ex..三段型、四段型 　　 説明文→導入、説明、結び 　・局所的な文と文のつながり 　　・修辞関係 文 説明

修辞関係とは (a) そこで、ウイルソンは、働き蟻の体の仕組みを、細かに研究してみました。 時間経過 結果 (b) すると、蟻は、お尻の所から、特別の液を出すことがわかりました ちょっと説明する

修辞関係がもたらす効果 ・文章を構造化することによって、省略や照応の解決の際に、制約を設けることができ、解決が容易になる

例文 a. 男はあるお屋敷で一夜を過ごした。 b. 豪勢な食事をした。 c. サーモンを食べた。 d. チーズをたらふく食べた。 e. 普段の、味気ない食事とは大違いだ 。 f. それは男には新鮮なものであった。 補足資料

構造化されていれば a. 男はあるお屋敷で一夜を過ごした。 詳細化：事象 b. 豪勢な食事をした。 記述・対照 詳細化：事象 話が展開していくと考える b. 豪勢な食事をした。 記述・対照 詳細化：事象 e. 普段の、味気ない食事とは大違いだ。 c. サーモンを食べた。 チーズをたらふく食べた。 (新しい文) f. 　　　は男には新鮮なものであった。 それ

コーパスの役割 文章 修辞関係 推定器 新しい文 文脈 談話構造解析システム 修辞関係を伴った文脈の更新 コーパス 学習 構造化された文章

目的 談話構造の付与されたコーパスを作成する →機械的に談話構造を推定するシステムのためのデータベースとなる そのために…… 　→機械的に談話構造を推定するシステムのためのデータベースとなる そのために…… 　修辞関係のセットを定める 　修辞関係の推定に必要な情報を明確化

談話構造についての既研究 ・Hobbs J.R(1978) ・Grosz and Sidner(1986) ・Mann and Tompson(1987)……修辞構造理論(RST) ・Asher and Lascarides(2003)…SDRT 　・分節談話表示理論 　　Segmented Discourse Representation Theory 　・文の意味記述の表現(SDRS)と、その表現間の関係を定式化した理論 　・SDRS間の修辞関係が分類、定義されている

SDRTの特徴 ・MDC(Maximal Discourse Coherence)原理による最適な修辞関係の計算機構が用意されている ・依頼、命令、質問などの信念や意図によって説明されてきた言語行為も修辞関係として捉えられている

SDRTでの修辞関係 ・帰結 (α,β)……βがαの論理的帰結となっているもの ・詳細化 (α,β)……αとβが上位下位もしくは部分全体関係にあるもの ・時間経過 (α,β)……αとβに時間的な順序があるもの ・結果(α,β)……αとβが因果関係にあるもの ・訂正(α,β)……αとβが互いに矛盾するもの ・プラン詳細(α,β)……βがαの達成目標を達成するためのプランを供給するもの ・質問-回答(α,β)……αが疑問で、βがそれにたいする直接の回答を供給するもの ・承諾(α,β)……βがαのspeech actによって許可もしくは達成されているもの

分析概要 ・目的： SDRTが日本語を対象にどの程度適用できるのかを検証 　関係を推定する要素について、体系化するために出現する要素を収集、分析 ・作業者：大人2名 ・分析の方略：SDRTをベースに談話構造の分析 ・分析対象：教科書タイトル21本（小学生2年～中学生1年） 説明文章：17本 物語文章：4本 合計：897文 人間はどういう風に手がかりを用いて構造を捉えているかとSDRTとのすり合わせを行っている

分析例 (1a) 初めに、ありの巣から少し離れた所に、一つまみの砂糖を置きました。 (1a)->(1b)　「状況：時間経過&可能化」 (1b) しばらくすると、一匹のありが、その砂糖を見つけました。 (1b)->(1c) 「記述：主題化」 (1b)->(1d) 「状況：時間経過」 (1c) これは、餌を探すために、外に出ていた働きありです。 (1d) ありは、やがて、巣に帰っていきました。 小学校国語教科書３上説明文「ありの行列」より

分析対象リスト 説明文章 ・ 小学校国語教科書２上「たんぽぽ」 ・ 同 ２下「ビーバーの大工事」 ・ 同 ３上「ありの行列」 ・ 小学校国語教科書２上「たんぽぽ」 ・　　　　　同　　　　　　２下「ビーバーの大工事」 ・　　　　　同　　　　　　３上「ありの行列」 ・　　　　　同　　　　　　３下「合図としるし」 ・　　　　　同　　　　　　３下「新年の祭り」 ・　　　　　同　　　　　　４上「あめんぼはにん者か」 ・　　　　　同　　　　　　４下「手で食べる、はしで食べる」 ・　　　　　同　　　　　　４下「点字を通して考える」 ・　　　　　同　　　　　　５上「日本の恐竜時代」 ・　　　　　同　　　　　　５下「体の中の海」 ・　　　　　同　　　　　　５下「情報社会で生きていくために」 ・　　　　　同　　　　　　６上「三内丸山遺跡」 ・　　　　　同　　　　　　６上「またとない天敵」 ・　　　　　同　　　　　　６下「アジアを見つめる、アジアから考える」 ・　　　　　同　　　　　　６下「エネルギー消費社会」 ・　　　　　同　　　　　　６下「平和のとりでを築く」 ・ 中学校国語教科書１年「植物のにおい」 ・　　　　　同　　　　　　１年「捨てる神拾う神」

分析対象リスト 物語文章 ・ 小学校国語教科書２上「手紙」 ・ 同 ３上「きつつきの商売」 ・ 同 ５上「新しい友達」 ・ 同 ６下「海の命」 補足資料

分析結果（１） ・教科書の文章内に出現した文の関係を捉えるにはSDRTで定義された関係だけでは不十分 ・新たに関係を定義し、追加した 　……修辞構造理論などを参考に

（１）記述の関係 （文内の要素の緩やかな結びつき） 時間的関係を含まない 結びついている文に対し、従属空間を作る デフォルトとして、記述されているものに対する照応が存在する (1b) しばらくすると、一匹のありが、その砂糖を見つけました。 (1b)→(1c) 記述：主題化 (1c) これは、餌を探すために、外に出ていた働きありです。

（２）人の行動の原因や根拠 結果ほど物理的な因果関係はないが、人の行動の原因や根拠となる (2a) この間、[僕が郵便箱を開けに行ったら](1)、[箱の口からイチジクの葉っぱが覗いていた](2)。 (2b) [あれっと思って](1)、[中を見ると](2)、[緑色の蛙が、一匹もぐりこんでいた]。 　　(2a-2)->(2b-1) 「根拠・理由-行為」 　　(2b-1)->(2b-2) 「根拠・理由-行為」

（３）対話イベント 物語文章によく出てくる、登場人物同士の対話について、基本的な性質を推論するための関係 ・aとbの間に時間の遷移がある (二人の登場人物が言い合っている状況で) (3a) 「ほんとうにそうおもってたの。それ、あたしのほう だよ。 」 (3b)「ちがうよ、あたしのほうだよ。 」 　　 (3a)->(3b) 「対話イベント」 ・aとbの間に時間の遷移がある ・aとbで、発話者は交代し、aの発話者は聞き手になる ・発話している状況は同一である デフォルトとして、以上のことが推論される

修辞関係の推定に関して ・修辞関係を推定するための情報の分析、収集を行った ・なんらかの修辞関係の手掛かりとなる語や句(キューフレーズ) ・語彙情報 などが考えられる 人間が関係を推定しているときに、手掛かりとなるような句

分析例(再) (1a) 初めに、ありの巣から少し離れた所に、一つまみの砂糖を置きました。 (1a)->(1b)　「状況：時間経過&可能化」 (1b) しばらくすると、一匹のありが、その砂糖を見つけました。 新しいやつ (1b)->(1c) 「記述：主題化」 (1b)->(1d) 「状況：時間経過」 (1c) これは、餌を探すために、外に出ていた働きありです。 (1d) ありは、やがて、巣に帰っていきました。 小学校国語教科書３上説明文「ありの行列」より

どのように修辞関係が推定されるか ・キューフレーズ ・接続詞「だから」、「それにより」(原因や理由) ・文末詞「のだ」「の」(記述) 　・接続詞「だから」、「それにより」(原因や理由) 　・文末詞「のだ」「の」(記述) 　・接続助詞「と」「て」(時間関係) 　など、様々な場所に関係を推測するためのキューフレーズが現れた 　・単語から文をまたぐパターンまで どういう風に関係が推定されているか

どのように関係が推定されるか ・文の間に時間的関係が存在するかどうか、また存在するときの時間構造を推測するために動詞のイベント構造やアスペクトは有用 ・特に、明確なキューフレーズ(「それから」など)が現れなかった場合に重要な情報となる

時間経過例 (4a) [わたしは一生けん命まりちゃんに手紙を書いて](1)、[お母さんにたのんで](2)[出してもらった](3)。 (1)-(2)-(3)の時間構造について、アスペクトに注目すると 手紙を書く(Process+Transition)+完了形 ↓ 頼む(Process+Transition)+完了形 出す(Transition)+完了形 となるため、時間的な隔たりがあると推論される ここさらっと

時間同一例 (5a)クラス全員と先生のほかに、[お母さんたちも大勢来て](1)、[みんなで歌を歌ったりゲームをしたりした](2)。 (1)-(2)は 来る(transition+state)+完了形から、状態的であり、文の形も合わせて、時間的な重なりがあり、状況を共有する可能性が高い 補足資料

ここまでのまとめ ・SDRTだけでは教科書の文章を捉えきるのに不十分なため、修辞関係をいくつか追加した ・関係の推定に使われるキューフレーズはさまざまな場所に現れる ・キューフレーズが現れないときには、時間構造や状況の認識にはアスペクトが重要な情報となる

ここまでの課題 ・実際の文章で照応関係などが、SDRTの枠組みがもたらす制約の通りになっているか検証し、修辞関係のセットを精緻に定義する ・関係を推定するために用いられている語彙情報を整理する ・特に、キューを伴わない因果や帰結など ・小学校国語教科書以外の文章に対しても分析を行い、SDRTの適用範囲を検証する ↓ ・コーパスに付与する情報を明確化し、より大規模にコーパスを作成する

試作システム ・分析したデータを用いて、二つの分節間に成立可能な修辞関係を選別するシステムを試作した ・修辞関係の同定までは行わない 　　・分節とは、「節・文・文の集合」などの修辞関係で結ばれる事象や命題の単位のこと ・修辞関係の同定までは行わない システムはおまけ

将来システム像での位置づけ 文脈 文章 新しい文 コーパス 修辞関係 推定器 構造化された文章 談話構造解析システム 学習 修辞関係を伴った文脈の更新

関係選別器 コーパス 学習モデル 素性抽出 機械学習 新しい分節 談話構造つき文脈 成立可能な修辞関係リスト

関係選別器 ・ある分節とある分節に対して、定義された修辞関係全てに対して成立するか否かの２クラス分類を行い、成立すると判定された関係が出力される

実験 ・学習データ ・小学校国語教科書の物語文３本、説明文３本の計６本 ・２年生～６年生 ・使用した素性は ・イベント構造 ・アスペクト 　・小学校国語教科書の物語文３本、説明文３本の計６本 　　・２年生～６年生 　・使用した素性は 　　・イベント構造 　　・アスペクト 　　・キューフレーズ 　　・キューフレーズの出現位置

実験 ・実験データ ・小学校６年生国語教科書の物語文「海の命」 ・大段落ごとに分け、それぞれに対して人手による素性の付与を行った 　・小学校６年生国語教科書の物語文「海の命」 　・大段落ごとに分け、それぞれに対して人手による素性の付与を行った ・学習データ中に、アスペクトやキューなどの素性を伴って現れた修辞関係のみを対象に関係選別を行った 　・全１４種

実験 実験のプロセス ・入力分節が結合可能な文脈中の分節は右先端制約により選別する 入力分節 コーパス 談話構造つき 文脈 修辞関係 選別器 入力分節 修辞関係を伴って文脈を更新 出力 入力 ・入力分節が結合可能な文脈中の分節は右先端制約により選別する ・本来は、文脈は修辞関係が同定された談話構造を持っていなければならないが、今回の実験では、修辞関係選別器で選別された関係が全て成立するとして談話構造とする

システムの流れ 修辞関係 選別器 a. 男はあるお屋敷で一夜を過ごした。 c. サーモンを食べた。 チーズをたらふく食べた。 時間同一 記述 b. 豪勢な食事をした。 時間同一 記述 e. 普段の味気ない食事とは大違いだ。 修辞関係 選別器 時間同一 状況同一 記述 詳細化 (新しい分節)　f. それは男には新鮮なものであった。

実行例

実験結果 ・正解データのうち、最終的な出力中に出現した数を評価対象とした ・再現率(選別器が出力した数/正解データ数)はおよそ２6％ ・一つの組み合わせに対して、平均１．１くらいの関係が選別された ・「帰結」「期待破り」は再現率が高いように見えるが、数が少ない 時間同一 時間経過 記述 対照 帰結 期待破り その他 合計 出現数 9 10 5 1 2 3 30 正解 21 34 27 4 6 22 117 再現率 43% 29% 19% 25% 67% 50% 0% 26%

結果から ・「結果」や「対照」など意味内容の関係を持つ関係を推定するには素性が足りない ・学習データも足りない(388文・475レコード) ・分析をすすめ、素性となる情報を増やすとともに、コーパスも増強する必要がある

システムの問題点 ・今回の実験では、修辞関係選別器の提示した修辞関係が全て成立したとして次の分節の処理の際の文脈としているため、正しく結合候補が取り出せていない可能性が高い ・分節ごとに、正解となる談話構造を与えながら実験する必要がある

今後の課題 ・関係を推定するために用いられている語彙情報を整理する ・特に、キューを伴わない因果や帰結など ↓ ・素性を増やす ・コーパスに付与する情報を明確化し、より大規模にコーパスを作成する

課題・発展 ・試作したシステムの後の処理として修辞関係を同定するシステム 　　・MDC原理を用いた最適な構造の推定 　　・照応や橋渡し解決などと相補的な処理になる ・事象間の修辞関係から概念間のつながりを学習するシステムが考えられる　　　 深い解釈をもたらすデータベースであること データベースとして用意することが必要であること

参考 Automatic Detection of Discourse Structure by Checking Surface Information in Sentences(黒橋 1994)

照応関係 (a).男はサーモンを食べた。 (b).それは綺麗なピンク色だった。

橋渡し関係 (a).たんぽぽはじょうぶな花です。 (b).はがふまれたり、つみとられたりしても、また生えてきます。

修辞関係とは (1a) 初めに、ありの巣から少し離れた所に、一つまみの砂糖を置きました。 (1a)->(1b)　「状況：時間経過&可能化」 (1b) しばらくすると、一匹のありが、その砂糖を見つけました。 (1b)->(1c) 「記述：主題化」 (1b)->(1d) 「状況：時間経過」 (1c) これは、餌を探すために、外に出ていた働きありです。 (1d) ありは、巣に帰っていきました。 小学校国語教科書３上説明文「ありの行列」より

現在までの分析から ・文章のタイプについて、いくつかの傾向がみられた 　Ⅰ．物語文と説明文の違い 　Ⅱ．対象学年ごとの違い

Ⅰ．物語文と説明文の違い ・物語文章では、あらたに「質問-回答ペア」や、「承諾」、「訂正」など、複数の人物が登場する物語に特徴的な修辞関係が現れた ・説明文と比べて、時間構造に関する関係や根拠、訂正などが増え、記述や詳細化といった関係は減少していた これらの関係は、複数の人物による言語行為を修辞関係として認定しているために現れる (6a) 「どう。 (6b) 手紙来た。」 (6c)「いや、まだだよ」 (6b)->(6c) 「質問-回答ペア」

Ⅱ．対象学年ごとの違い ・「帰結」や「期待破り」といった関係は、学年が上がると増えている 　・同じような「因果」は学年ごとに差は見られないが、キューを伴わないパターンは高学年で増える 　(7a) ヒキガエルの舌は、最高十センチメートル離れた所にある獲物をとらえることが可能であり、[しかもこの動作にかかる時間は、わずか十五分の一秒である。](1) 」 　(7b) そのため、人間の目には映らないのである。 　　(7a-2)->(7b) 「帰結」 (キュー「そのため」)

低学年の例 (3年上説明文「ありの行列」より) 低学年の例 (3年上説明文「ありの行列」より) 　　(9a) そこで、ウイルソンは、働き蟻の体の仕組みを、細かに研究してみました。 　　(9b) すると、蟻は、お尻の所から、特別の液を出すことがわかりました。 　　(9a)->(9b) 「結果」(キュー「～してみました」「すると」) 高学年の例　(６年下説明文「平和のとりでを築く」より) 　　(9c) 強れつな熱線と爆風が放射能とともに市街をおそった。 　　(9d) 市民の多くは一しゅんのうちに生命をうばわれ、川は死者でうまるほどだった。 　　　(9c)->(9d) 「結果」 補足資料

出現するキュー ・低学年では、因果や帰結などの意味内容が重要になる関係は、ほとんどキューをともなっている ・高学年になると、キューを伴わないパターンが増えてきて、そのときは項の同一や、述語の意味関係などを用いて推定していると考えられる

まとめ ・SDRTだけでは教科書の文章を捉えきるのに不十分なため、修辞関係をいくつか追加した ・関係の推定に使われるキューフレーズはさまざまな場所に現れる ・キューフレーズが現れないときには、時間構造や状況の認識にはアスペクトが重要な情報となる

今後の課題 ・実際の文章で照応関係が、構造のもたらす制約の通りになっているか検証し、修辞関係のセットを精緻に定義する ・関係を推定するために用いられている語彙情報を整理する ・特に、高学年でキューを伴わない因果や帰結など ↓ ・コーパスに付与する情報を明確化し、より大規模にコーパスを作成する

発展 ・コーパスがある程度できたら、実際に機械学習を用いて関係推定器を試作してみる ・実験データに対し、推定器が必要とする情報のうち足りない部分は人手で付与 ・談話構造推定のための情報をより明確にする

発展 ・談話構造コーパスを用いて、修辞関係を機械的に推定するようなシステム ・因果などに限定しない、事象間のより広い関係の収集 ・橋渡しの解決 ・前提のスコープのあいまいさの解決 ・会話の含意の解決 ・修辞関係から推論される事象間のより広い関係を自動収集する 深い解釈をもたらすデータベースであること データベースとして用意することが必要であること

出現した談話関係(一部) 時間経過 時間同一 可能化 結果 原因・理由 根拠-行為 理由-主張 詳細化 一般化 記述 訂正 帰結 期待破り 手段-目的 目的-行為 条件-事象 並列 対照 Alternation まとめ 転換 小2小3 (説明) 22% 3% 5% 0% 1% 11% 小5-中1 7% 2% 13% 25% 12% 8% 小2 (物語） 28% 6% 9% 小5 （物語） 16% 24% 4%

イベントタイプ 説明 State 定常的な状態を表す Activity 継続する動作を表す Transition 何らかの変化・遷移を表す Transition-state 何らかの状態の変化・遷移があるが、その後の状態が主辞となる Nothing 複数の分節で一つの入力分節になるなど、イベントを認定できないもの 表１ 出現位置 説明 前文中 候補分節の最後の分節以外に現れた場合 前文末尾 候補分節の最後の分節に現れた場合 先頭 入力分節の最初の文節に現れた場合 文中 入力分節の最初か最後の文節以外に現れた場合 末尾 入力分節の最後の文節に現れた場合 表２ 距離 説明 入力分節と候補分節が節であり、同じ文中に存在する。 １ 入力分節と候補分節が文をまたいで隣接した文または節である。 2 距離１よりも遠い、つまり入力分節と候補分節の間に分節が存在している 表３

文章の構造化 (新しい文) f. きれいなピンク色だった a. 男はすばらしい一夜を過ごした。 詳細化：事象 b. 豪勢な食事をした。 e. その後、ダンス大会で優勝した。 時間経過：語り 詳細化：事象 c. サーモンを食べた。 チーズをたらふく食べた。 (新しい文) f. きれいなピンク色だった

コーパス 学習モデル 素性抽出 TinySVMによる機械学習

正例(関係a) 距離0 負例(関係b) 負例(関係n) ・・・ 負例(関係a) 距離1 距離2

候補分節それぞれに対して成立可能な修辞関係 文脈 候補分節それぞれに対して成立可能な修辞関係 候補分節の抽出 修辞関係全てに対して SVMによる成立判定 入力分節 候補分節集合 距離計算・素性抽出 入力 出力

学習モデル 関係a・距離0 関係b・距離0 関係n・距離0 関係a・距離1 関係b・距離1 関係n・距離1 関係a・距離2 関係b・距離2 ・・ 関係a・距離1 関係b・距離1 関係n・距離1 関係a・距離2 関係b・距離2 関係n・距離2 入力分節 候補分節 距離0 それぞれ 成否分類

実験のプロセス 実験 コーパス 談話構造つき 文脈 修辞関係 選別 入力分節 修辞関係を伴って文脈を更新 出力 入力

構造化されていれば a. 男はあるお屋敷で一夜を過ごした。 詳細化：事象 b. 豪勢な食事をした。 記述・対照 詳細化：事象 e. 普段は、味気ない食事ばかりだ c. サーモンを食べた。 チーズをたらふく食べた。 (新しい文) f. それは男には新鮮なものであった。

a. 男はあるお屋敷で一夜を過ごした。 b. 豪勢な食事をした。 c. サーモンを食べた。 チーズをたらふく食べた。 e. 普段は、味気ない食事ばかりだ 詳細化：事象 記述・対照 f. それは男には新鮮なものであった。 (新しい文)

a. 男はあるお屋敷で一夜を過ごした。 詳細化：事象 b. 豪勢な食事をした。 記述・対照 詳細化：事象 e. 普段は、味気ない食事ばかりだ c. サーモンを食べた。 チーズをたらふく食べた。 (新しい文) f. それは男には新鮮なものであった。

例文 a. 男はあるお屋敷で一夜を過ごした。 b. 豪勢な食事をした。 c. サーモンを食べた。 d. チーズをたらふく食べた。 e. 普段は、味気ない食事ばかりだ。 f. それは男には新鮮なものであった。 補足資料