数理言語情報論 第3回 2009年10月21日 数理言語情報学研究室 講師 二宮 崇.

Slides:



Advertisements
Similar presentations
PCFG の EM アルゴリズムとス ムージング 二宮 崇 1. 今日の講義の予定 PCFG (Probabilistic Context Free Grammar, 確率付 文脈自由文法 ) EM アルゴリズム スムージング 教科書 北研二 ( 著 ) 辻井潤一 ( 編 ) 言語と計算 4 確率的言語モデル.
Advertisements

コーパス言語学入門 第 2 回. 授業名:情報システムコース実験演習 ( 後期 ) 火曜第 2 フレーム 担当部分:言語情報処理(コーパス言語学 入門) 担当教員:藤 正明 日時: 10 月 5 日・ 10 月 7 日・ 10 月29日・ 11 月 2 日の 3 時 30 分から 5 時 50 分。
数理言語情報論 第 2 回 数理言語情報学研究室 講師 二宮 崇 2009 年 10 月 14 日 1.
自然言語処理 平成 24 年 11 月 5 日 (No5)- 東京工科大学 コンピュータサイエンス学部 亀田弘之.
統率・束縛理論. 統率・束縛理論( GB 理論)  統率・束縛理論 ( Government-Binding Theory )  Chomsky により創始される  変形文法( Transformational Grammar, TG )の直系子孫.
一階述語論理 (first-order predicate logic) 一階述語論理入門 構文論(論理式の文 法) 意味論(論理式の解 釈) 認知システム論 知識と推論(4) 知識と論理でを組み合わせて問題を解決する.
プログラミング言語論 第10回(演習) 情報工学科 木村昌臣   篠埜 功.
大規模コーパスから獲得した 名詞の出現パターンを用いた 事態名詞の項構造解析
人工知能特論2011 No.4 東京工科大学大学院 担当教員:亀田弘之.
人工知能特論2007 No.4 東京工科大学大学院 担当教員:亀田弘之.
自然言語処理:第3回 1.前回の確認 2.構文解析 3.格文法.
最大エントロピーモデルに基づく形態素解析と辞書による影響
コンパイラ 2011年10月17日
制約に基づく言語処理から 制約なしの言語処理へ
東京工科大学 コンピュータサイエンス学部 亀田弘之
数理言語情報論 第1回 2009年10月7日 数理言語情報学研究室 講師 二宮 崇.
数理言語情報論 第3回 2007年10月22日 数理言語情報学研究室 講師 二宮 崇.
言語体系とコンピュータ 第6回.
日本語統語論:構造構築と意味 No.1 統語論とは
演習3 最終発表 情報科学科4年 山崎孝裕.
一致の非対称の 極小理論的分析 小林 亜希子 島根大学 「言語と情報研究プロジェクト研究会:言語理論の動向を考える」 広島大学
情報とコンピュータ 静岡大学工学部 安藤和敏
東京工科大学 コンピュータサイエンス学部 亀田弘之
人工知能特論II 第1回 二宮 崇.
統率・束縛理論2.
プログラミング言語論 第4回 式の構文、式の評価
1.自然言語処理システム 2.単語と形態素 3.文節と係り受け
第6章 ユニフィケーション解析 ユニフィケーション解析とは?
12月08日 構文解析 入力文(記号列)が与えられたとき,文法によってその文を解析し,その構造を明らかにする.
数理論理学 第1回 茨城大学工学部情報工学科 佐々木 稔.
形態素解析および係り受け解析・主語を判別
コンパイラ 2012年10月15日
動詞の共起パターンを用いた 動作性名詞の述語項構造解析
シミュレーション演習 G. 総合演習 (Mathematica演習) システム創成情報工学科
ネットワーク理論講義補助資料 Text. 組合せ最適化とアルゴリズム 4.3 節 Lagrange緩和 pp
言語学 語のかたち① pp
人工知能特論II 第2回 二宮 崇.
正則言語 2011/6/27.
形式言語の理論 5. 文脈依存言語.
6.2.4 辞書項目(1) 辞書項目にも、語に対するDAGを与える。
東京工科大学 コンピュータサイエンス学部 亀田弘之
自然言語処理2016 -平成28年11月7日・14日(No.6&7)-
 型推論1(単相型) 2007.
DSLはVisualツールのサポート前提
東京工科大学 コンピュータサイエンス学部 亀田弘之
日本語統語論:構造構築と意味 No.8 連体修飾
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
プログラミング言語論 第9回 情報工学科 木村昌臣 篠埜 功.
コンパイラ 2011年10月20日
東京工科大学 コンピュータサイエンス学部 亀田弘之
文法と言語 ー文脈自由文法とLR構文解析ー
計算の理論 I -数学的概念と記法- 火曜 12:50~14:20 大月 美佳 2004年4月20日.
第14回 前半:ラムダ計算(演習付) 後半:小テスト
人工知能特論II 第8回 二宮 崇.
第7回  命題論理.
東京工科大学 コンピュータサイエンス学部 亀田弘之
プログラミング言語論 第10回 情報工学科 篠埜 功.
計算の理論 I -数学的概念と記法- 月曜3校時 大月 美佳.
述語論理式の構文と意味 一階述語論理式の構文 一階述語論理式の意味 述語,限量記号 自然言語文の述語論理式表現 解釈 妥当,充足不能
情報とコンピュータ 静岡大学工学部 安藤和敏
第7回 Q&A メール講座 Next Stage:翻訳力アップ自己トレ(1)
情報とコンピュータ 静岡大学工学部 安藤和敏
自然言語処理2016 Natural Language Processing 2016
1.2 言語処理の諸観点 (1)言語処理の利用分野
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
数理論理学 最終回 茨城大学工学部情報工学科 佐々木 稔.
東京工科大学 コンピュータサイエンス学部 亀田弘之
Elements of Style 第3回 2019年6月11日(火).
Presentation transcript:

数理言語情報論 第3回 2009年10月21日 数理言語情報学研究室 講師 二宮 崇

CCG (COMBINATORY CATEGORIAL GRAMMAR) 組合せ範疇文法 今日の講義の予定 CCG (COMBINATORY CATEGORIAL GRAMMAR) 組合せ範疇文法

CCG: 導入 長い歴史 範疇文法は、古くは Ajdukievicz (1935) や Bar-Hillel (1953)までさかのぼる Mark Steedman (1996, 2000) によるCCGが有名 講義内容 Mark Steedman (2000) The Syntactic Processから 語彙化文法 文法がなすべき役割を句構造規則ではなく、辞書に書き込むべき、という立場の文法 最新の文法理論はほとんどが語彙化文法

CCG: 導入 仕組 意味論 等位接続構造をうまく説明 カテゴリに対する関数適用を繰り返すことによって文を構成する ラムダ式により語の意味を記述し、統語構造に対応したラムダ関数適用により文の意味表現を導出 M. Steedman は、可能な意味構造をすべて導出できれば、それに対応する統語構造はどれか一つだけあれば構わない、とする 等位接続構造をうまく説明

CCG: 形式 カテゴリ 原始カテゴリ (atomic category) 複合カテゴリ (complex category) N (名詞) や S (文) など 複合カテゴリ (complex category) 他の二つのカテゴリから合成 数学的には、一方を定義域、片方を値域とする関数 X, Yがカテゴリなら、X/Y と X\Y は複合カテゴリ。どちらもYを引数とし、Xを値とする関数 X/Yは、右側のYと結びついて、Xの記号となるという意味 X\Yは、左側のYと結びついて、Xの記号となるという意味

CCG: カテゴリの例 カテゴリの例 married := (S\NP)/NP 自動詞: S\NP 他動詞(TV): (S\NP)/NP ditransitive verb(DTV): ((S\NP)/NP)/NP 目的語 主語

CCG: ``pure’’ categorial grammar 関数適用規則 (functional application rules) X/Y Y ⇒ X (>) Y X\Y ⇒ X (<) 例 Anna married Manny NP (S\NP)/NP NP S\NP S Anna married Manny V NP VP S > <

CCG: カテゴリの補足 カテゴリに付随する素性 演算は素性の値は単一化により計算される(HPSGの講義の時に詳しく述べる) NP3s, NP3sfなど 例 Anna married Manny NP3sf (S\NP3s)/NP NP S\NP3s S 演算は素性の値は単一化により計算される(HPSGの講義の時に詳しく述べる) > <

CCG: 意味論 (1/3) CCGの規則に付随するラムダ式により述語項構造 (predicate-argument structures)を計算 ラムダ計算 λx.λy. marry’ x y ((λx.λy. marry’ x y) manny’) anna’ = (λy. marry’ manny’ y) anna’ =marry’ manny’ anna’ λf.λx. f xという風に関数も引数にとることができることに注意! λf.λx. f xとλg.λy g y はまったく同じラムダ式であることに注意!

CCG: 意味論 (2/3) CCGの規則に付随するラムダ式により述語項構造 (predicate-argument structures)を計算 関数適用規則 (functional application) X/Y:f Y:a ⇒ X:f a (>) Y:a X\Y:f ⇒ X:f a (<)

CCG:意味論(3/3) 例 Anna married Manny NP3sf : anna’ (S\NP3s)/NP: λx.λy.marry’ x y NP: manny’ S\NP3s: λy. marry’ manny’ y S: marry’ manny’ anna’ > <

CCG: 等位接続構造 等位接続構造 等位接続規則(簡略版) 太郎と花子が歩いた 太郎が花子に会って、説明した 太郎は花子に、次郎は恵に話した 等位接続規則(簡略版) X CONJ X’ ⇒ X’’ (Φ)

CCG: 等位接続構造 例 Anna met and married Manny NP (S\NP)/NP CONJ (S\NP)/NP NP (S\NP)/NP S\NP S Φ > <

CCG: 等位接続規則の意味論 等位接続規則 例 X :g CONJ:b X:f ⇒ X:λ...b(f...)(g...) (Φn) Anna met and married Manny NP (S\NP)/NP CONJ (S\NP)/NP NP :anna’ :meet’ :and’ :marry’ :manny’ (S\NP)/NP: λx.λy.and’(meet’ x y)(marry’ x y) S\NP: λy.and’(meet’ manny’ y) (marry’ manny’ y) S: and’(meet’ manny’ anna’) (marry’ manny’ anna’) Φ > <

THE BLUEBIRD (ルリツグミ)

The Bluebird: 導入 Anna met and might marry Mannyの解析 met := (S\NP)/NP marry := (S\NP)/NP might := (S\NP) /(S\NP) Anna might marry Mannyの解析 (S\NP) metがMannyを目的語としてとれない! mightがなければmetとmarryを等位接続できたのに…。 > >

The Bluebird 合成規則 (composition rule) 例 X/Y Y/Z ⇒ X/Z (>B) Anna met and might marry Manny NP (S\NP)/NP CONJ (S\NP)/(S\NP) (S\NP)/NP NP (S\NP)/NP S\NP S >B Φ > <

Bluebirdの意味論 合成規則 (composition rule) 例 X/Y: f Y/Z: g ⇒ X/Z: λx.f(g x) (>B) 例 Anna met and might marry Manny NP (S\NP)/NP CONJ (S\NP)/(S\NP) (S\NP)/NP NP :anna’ :λx.λy.meet’ x y :and’ :λp.λx.might’ (p x) :λx.λy.marry’ x y :manny’ (S\NP)/NP :λz. (λp.λx.might’ (p x))((λx.λy.marry’ x y) z) =λz. (λp.λx.might’ (p x))(λy.marry’ z y) =λz. (λx.might’((λy.marry’ z y) x)) =λz. (λx.might’(marry’ z x)) =λx.λy.might’(marry’ x y) (S\NP)/NP: λx.λy.and’(might’(marry’x y))(meet’ x y) S\NP: λy.and’(might’(marry’manny y))(meet’ manny’ y) S: and’(might’(marry’manny’ anna’))(meet’ manny’ anna’) >B Φ > <

Bluebirdの心とは? 目的語をまだとっていない大きな動詞句を先につくっていることに相当 目的語をとってから、主語をとる、といった関数適用による順番を変える 後から取るべきカテゴリを先にとって、先に取るべきカテゴリを遅延評価として取る

THE THRUSH (ツグミ)

The Thrush : 導入 Anna married and I detest Mannyの解析 Anna, I, Manny := NP married, detest := (S\NP)/NP Bluebirdを使って目的語をとらずに大きな動詞句を作りたいが、、、 先に主語+動詞をくっつけることができない!

The Thrush 型繰り上げ (Type-Raising) 例 NP ⇒ S/(S\NP) (>T) Anna married and I detest Manny NP (S\NP)/NP CONJ NP (S\NP)/NP NP S/(S\NP) S/(S\NP) S/NP S/NP S/NP S >T >T >B >B Φ >

Thrushの意味論 型繰り上げ (Type-Raising) 例 X: a ⇒ T/(T\X): λf. f a (>T) Anna married and I detest Manny T/(T\NP) (S\NP)/NP CONJ T/(T\NP) (S\NP)/NP NP :λf.f anna’ :λx.λy.marry’ x y :and’ :λ‘f.f i’ :λx.λy.detest’ x y :manny’ S/NP: λx.marry’ x anna’ S/NP: λx.detest’ x i’ S/NP: λx.and’(detest’x i’)(marry’ x anna’) S: and’(detest’ manny’ i’)(marry’ manny’ anna’) >B >B Φ >

Thrushの意味論 Anna married and I detest Manny これがどうやってでてきたのか?bluebirdの規則が T/(T\NP) (S\NP)/NP CONJ T/(T\NP) (S\NP)/NP NP :λf.f anna’ :λx.λy.marry’ x y :and’ :λ‘f.f i’ :λx.λy.detest’ x y :manny’ S/NP: λx.marry’ x anna’ S/NP: λx.detest’ x i’ S/NP: λx.and’(detest’x i’)(marry’ x anna’) S: and’(detest’ manny’ i’)(marry’ manny’ anna’) >B >B Φ > これがどうやってでてきたのか?bluebirdの規則が X/Y: f Y/Z: g ⇒ X/Z: λx.f(g x) (>B) なので、出力される意味構造は、 λz.f(g z) s.t. f=λf.f anna’, g=λx.λy.marry’ x y = λz.(λf.f anna’)((λx.λy.marry’ x y) z) =λz.(λf.f anna’)(λy.marry’ z y) = λz.((λy.marry’ z y) anna’) =λz.(marry’ z anna’)

Backward BluebirdとThrush Y\Z X\Y ⇒ X\Z (<B) 例 give a teacher an apple and a policeman a flower (VP/NP)/NP NP NP CONJ NP NP a teacher, a policeman NP ⇒<T (VP/NP)\((VP/NP)/NP) an apple, a flower NP ⇒ <T (VP\(VP/NP)) a teacher an apple, a policeman a flower (VP/NP)\((VP/NP)/NP) (VP\(VP/NP))⇒<B VP\((VP/NP)/NP)

関係節もできる! 例 (N\N)/(S/NP) S/(S\NP) (S\NP)/NP (the man) that Anna married >B >

Thrushの心とは? 動詞が主語をとって文になるのではなく、名詞が動詞句をとって文になる、という解釈 anna := S/(S\NP) 選択する側、される側が反転していることに注意!

STARLING (ムクドリ)

The Starling: 導入 Parasitic Gap 関係節の目的語と動名詞の目的語が共有される場合 articles whichi I will filei without readingi

The Starling 後ろ向き交差代入 (backward crossed substitution) 例 Y/Z (X\Y)/Z ⇒ X/Z (<Sx) 例 (articles) which I will file without reading (N\N)/(S/NP) S/VP VP/NP (VP\VP)/VPing VPing/NP (VP\VP)/NP VP/NP S/NP N\N >B <Sx >B >

Starlingの意味論 後ろ向き交差代入 (backward crossed substitution) Y/Z:g (X\Y)/Z:f ⇒ X/Z: λx.fx(gx) (<Sx)

bird一覧 合成 (functional composition) 型繰り上げ(type-raising) X/Y Y/Z ⇒ X/Z (>B) X/Y Y\Z ⇒ X\Z (>Bx) Y\Z X\Y ⇒ X\Z (<B) Y/Z X\Y ⇒ X/Z (<Bx) 型繰り上げ(type-raising) X ⇒ T/(T\X) (>T) X ⇒ T\(T/X) (<T) 代入(functional substitution) (X/Y)/Z Y/Z ⇒ X/Z (>S) (X/Y)\Z Y\Z ⇒ X\Z (>Sx) Y\Z (X\Y)\Z ⇒ X\Z (<S) Y/Z (X\Y)/Z ⇒ X/Z (<Sx)

擬似的曖昧性 擬似的曖昧性 (spurious ambiguity) このような統語構造の順番を無視するような構造をつくると、同じ文に対して可能な解析が爆発的に増えてしまう 特に型繰り上げを使うと、無限に生成できてしまう

擬似的曖昧性 Anna married Mannyに対する普通の解析 Anna married Manny NP: anna’ (S\NP)/NP: λx.λy.marry’ x y NP: manny’ S\NP: λy.marry’ manny’ y S: marry’ manny’ anna’ > <

擬似的曖昧性 その他の解析1 Anna married Manny NP: anna’ (S\NP)/NP: λx.λy.marry’ x y NP: manny’ T/(T\NP) T\(T/NP) :λp.p anna’ :λq.q manny’ S\NP: λy.marry’ manny’ y S: marry’ manny’ anna’ <T <T < >

擬似的曖昧性 その他の解析2 Anna married Manny NP: anna’ (S\NP)/NP: λx.λy.marry’ x y NP: manny’ T/(T\NP) T\(T/NP) :λp.p anna’ :λq.q manny’ S/NP: λx.marry’ x anna’ S: marry’ manny’ anna’ <T <T >B <

擬似的曖昧性 解析過程や統語構造が異なっていても意味構造は同じ パーザー(構文解析器)は、与えられた文に対する全ての意味構造に対し、それに対応するいくつかの統語構造さえ出力できれば良い⇦反論: 全ての統語構造を列挙しないと、全ての意味構造を列挙することは難しい⇦反論:普通の句構造解析でも同じようにたくさんの曖昧性はある⇦さらに言えば、実テキストを解析できるシステムが存在する

CCGのすごいところ (1/2) どちらが”良い“統語構造か?という長年の言語学的疑問に一つのエレガントな解を与えた⇒意味構造が同じならどちらでも良い 文節文法vs句構造文法 (NP-を (WH 花子が作った)(NP 弁当を)) (PP (NP (WH 花子が作った) 弁当) を) 句構造の曖昧性 Manny might watch Anna with a telescope. 動詞は目的語と結びついた後に助動詞と結びつくか、動詞と助動詞が結びついた後に目的語と結びつくか? with a telescopeは``watch Anna’‘に結びつくのか、それとも、``might watch Anna’‘に結びつくのか?

CCGのすごいところ (2/2) ほとんどの文法理論で失敗している等位接続構造をエレガントに説明できた ? おじいさんは 山へ芝刈りに おばあさんは 川へ洗濯に いきました ?

まとめ CCG 次回は、10/28(水) 16:30~ 型付素性構造と単一化とHPSGについて 講義資料 関数適用 bluebird thrush starling 長所 次回は、10/28(水) 16:30~ 型付素性構造と単一化とHPSGについて 講義資料 http://www.r.dl.itc.u-tokyo.ac.jp/~ninomi/mistH21w/cl/