自然言語処理:第3回 1.前回の確認 2.構文解析 3.格文法.

Slides:



Advertisements
Similar presentations
日本語構造伝達文法 この項は『日本語構造伝達文法( 05 版)』の 日本語の構造モデル紹介 と 形態素分析 今泉 喜一 詳しい説明は本か次のオンライン本でお読みください。 第1章,第2章/第 40 章の内容が中心です。
Advertisements

自然言語処理 平成 24 年 11 月 5 日 (No5)- 東京工科大学 コンピュータサイエンス学部 亀田弘之.
プログラミング言語論 第10回(演習) 情報工学科 木村昌臣   篠埜 功.
大規模コーパスから獲得した 名詞の出現パターンを用いた 事態名詞の項構造解析
言語メディア処理 第15回 授業全体のまとめ 横井俊夫.
東京工科大学 コンピュータサイエンス学部 亀田弘之
最大エントロピーモデルに基づく形態素解析と辞書による影響
ヘルスケア連動型 市販薬検索システム 研究者 : 加納 えり 指導教員 : 越田 高志.
コンパイラ 2011年10月17日
ことばとコンピュータ 2007年度1学期 第13回.
東京工科大学 コンピュータサイエンス学部 亀田弘之
知識情報演習Ⅲ(後半第1回) 辻 慶太(水)
L15 おいしいですね。 L16 私は野球が好きです。
言語の統計 統計の対象量 単語 NグラムとKWIC HMMと形態素解析への応用.
言語体系とコンピュータ 第6回.
連体修飾節 欧志豪 南台科技大学応日所院生.
共起用例と名詞の出現パターンを用いた動作性名詞の項構造解析
情報とコンピュータ 静岡大学工学部 安藤和敏
東京工科大学 コンピュータサイエンス学部 亀田弘之
ことばとコンピュータ 2007年度1学期 第3回.
統率・束縛理論2.
テキストマイニング, データマイニングと 社会活動のトレース
コーパス言語学実践 2006年度2学期 第5回.
1.自然言語処理システム 2.単語と形態素 3.文節と係り受け
部分形態素解析を用いた コーパスの品詞体系変換
4Y-4 印象に残りやすい日本語パスワードの合成法
第6章 ユニフィケーション解析 ユニフィケーション解析とは?
12月08日 構文解析 入力文(記号列)が与えられたとき,文法によってその文を解析し,その構造を明らかにする.
東京工科大学 コンピュータサイエンス学部 亀田弘之
形態素解析および係り受け解析・主語を判別
コンパイラ 2012年10月15日
動詞の共起パターンを用いた 動作性名詞の述語項構造解析
1月19日 辞書 自然言語処理における辞書の役割 機械辞書設計の要点 辞書の種類と用途.
音韻論⑤ ----.
自然言語処理及び実習 第11回 形態素解析.
不完全な知識 不完全な知識に基づく問題解決 フレーム問題 制約条件記述問題 非単調推論 極小限定 常識の定式化 並列極小限定.
大規模データによる未知語処理を統合した頑健な統計的仮名漢字変換
人工知能特論II 第2回 二宮 崇.
6.2.4 辞書項目(1) 辞書項目にも、語に対するDAGを与える。
自然言語処理2016 -平成28年11月7日・14日(No.6&7)-
12. 意味・意図の解析 12.1 意味表現とは 12.2 規則による意味解析処理 12.3 統計的な意味解析処理 12.4 スマートフォンでの音声サービス ニューラルネットワークによる意味解析.
移動エントロピーによる 動的ネットワーク化を用いた SNSと商品購買の相互関係の分析
東京工科大学 コンピュータサイエンス学部 亀田弘之
形態素解析ドライバモデルの実装と コーパスの品詞体系変換への応用
言語学の基礎 ④ 教科書 pp. 40−52.
Happinessの歴史と 日本語処理のエピソード (株)平和情報センター 沓澤 尚明.
テキストマイニング, データマイニングと 社会活動のトレース
東京工科大学 コンピュータサイエンス学部 亀田弘之
超大規模ウェブコーパスを用いた 分布類似度計算
東京工科大学 コンピュータサイエンス学部 亀田弘之
コンパイラ 2011年10月20日
B演習(言語処理系演習)第2回 田浦.
東京工科大学 コンピュータサイエンス学部 亀田弘之
文法と言語 ー文脈自由文法とLR構文解析ー
構造的類似性を持つ半構造化文書における頻度分析
計算の理論 I ー正則表現とFAの等価性ー 月曜3校時 大月 美佳.
東京工科大学 コンピュータサイエンス学部 亀田弘之
大規模コーパスに基づく同義語・多義語処理
自然言語処理2015 Natural Language Processing 2015
4.プッシュダウンオートマトンと 文脈自由文法の等価性
並列構造に着目した係り受け解析の改善に関する研究
シソーラス情報を用いた童話文章登場人物の 感情情報読み取りシステム
コンパイラ 2012年10月11日
情報とコンピュータ 静岡大学工学部 安藤和敏
形態素解析と構文解析 金子邦彦.
自然言語処理2016 Natural Language Processing 2016
mi-8. 自然言語処理 人工知能を演習で学ぶシリーズ(8)
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
Presentation transcript:

自然言語処理:第3回 1.前回の確認 2.構文解析 3.格文法

1.前回の確認 形態素とは 形態素の定義 意味や機能に対応した文字の並び 意味に対応:内容語(自立語) 名詞、副詞、形容詞、動詞など 機能に対応:機能語(付属語) 助詞、助動詞、接頭辞など

1.前回の確認 形態素解析 与えられた文を形態素に分解し 品詞、活用形、読み等を付与する 音声認識 音声 形態素列 音声認識 音声 形態素列 仮名漢字変換 仮名 形態素列 形態素解析    文字列 形態素列 一番簡単だが、最も高い精度を要求される 全ての自然言語処理の基本

1.前回の確認 文節とは? 一つの内容語とそれに関係している機能語 の集まり 今日の実験は大失敗だ。 今日/の/実験/は/大/失敗/だ/ 。 / 今日/の/実験/は/大/失敗/だ/ 。 / 内容語を一つだけ含むので、意味の単位

1.前回の確認 各形態素が他のどの形態素と関係をもっているか? 文の構造を調べる 内容語と機能語の関係は簡単  文節 内容語と内容語の関係は  係り受け解析

1.前回の確認 日本語の係り受け解析 各文節がどの文節を修飾しているか テーブルのコップを持つ 係り受けルール① (どの言語でも共通) 係り受けルール① (どの言語でも共通)   係り受けを示す矢印は交差しない 係り受けルール② (日本語固有)   係り受けを示す矢印は常に前から後ろ

1.前回の確認 係り受け解析の例題 今年も春がやって来た。 今日のご飯はおいしかった。

1.前回の確認 係り受け解析の例題 形態素分割 今年 / も / 春 / が / やって来 / た / 。 / やって来る  一語 今日 / の / ご飯 / は / おいしかっ / た / 。 / ご飯  一語

1.前回の確認 係り受け解析の例題 文節分割 今年も / 春が / やって来た。 / 今日の / ご飯は / おいしかった。 /

1.前回の確認 係り受け解析の例題 係り受け 今年も / 春が / やって来た。 / 今日の / ご飯は / おいしかった。 /

2.構文解析 構文解析とは 文(形態素列)を木構造に展開する ただし、日本語では前出の係り受け解析を 代わりに用いることが多い。 より、複雑な解析は後述の格文法を用いる

2.構文解析 英語の構文解析 a dog chases a cat 先にdogとcatをまとめる ことはできない

2.構文解析 文法(CFG)と構文木 限定詞(D) = a 文法 名詞(N) = dog 名詞句(NP) = D+N NP 文法=部分木 D V D 左が親、右が子 N a dog chases a cat 終端記号

2.構文解析 文法(CFG)と構文木 限定詞(D) = a 名詞(N) = dog S 名詞(N) = cat 名詞句(NP) = D+N 動詞(V) = chases VP NP NP 動詞句(VP) = V+NP D N V D N 文(S) = NP+VP a dog chases a cat

2.構文解析 文法(CFG)と構文木 限定詞(D) = a 名詞(N) = dog S 名詞(N) = cat 名詞句(NP) = D+N 動詞(V) = chases VP 余る NP 動詞句(VP) = V+NP D N V 文(S) = NP+VP a dog chases a cat 動詞句(VP) = V

2.構文解析 構文解析 逐次、文法を適用していき、一つの木が 生成できれば成功 ただし、複数の成功例が出るかもしれない ねこ と 飛ぶ 鳥 ねこ と 飛ぶ 鳥 ねこ と 飛ぶ 鳥

2.構文解析 「ねこ と 飛ぶ 鳥 だ」 の構文解析 名詞=「ねこ」 動詞句=動詞 並列助詞=「と」 形容詞句=動詞 「ねこ と 飛ぶ 鳥 だ」 の構文解析 名詞=「ねこ」 動詞句=動詞 並列助詞=「と」 形容詞句=動詞 係助詞=「と」 形容詞句=名詞句+動詞句 名詞=「鳥」 名詞句=形容詞句+名詞句 動詞=「飛ぶ」 名詞句=名詞句+並列助詞+名詞句 名詞句=名詞 名詞句=名詞句+係助詞 文=名詞句+「だ」

1.前回の確認 「ねこ と 飛ぶ 鳥 だ」 の構文解析 名詞=「ねこ」 動詞句=動詞 並列助詞=「と」 形容詞句=動詞 「ねこ と 飛ぶ 鳥 だ」 の構文解析 名詞=「ねこ」 動詞句=動詞 並列助詞=「と」 形容詞句=動詞 係助詞=「と」 形容詞句=名詞句+動詞句 名詞=「鳥」 名詞句=形容詞句+名詞句 動詞=「飛ぶ」 名詞句=名詞句+並列助詞+名詞句 名詞句=名詞 名詞句=名詞句+係助詞 文=名詞句+「だ」

1.前回の確認 「ねこ と 飛ぶ 鳥 だ」 の構文解析 名詞=「ねこ」 動詞句=動詞 並列助詞=「と」 形容詞句=動詞 「ねこ と 飛ぶ 鳥 だ」 の構文解析 名詞=「ねこ」 動詞句=動詞 並列助詞=「と」 形容詞句=動詞 係助詞=「と」 形容詞句=名詞句+動詞句 名詞=「鳥」 名詞句=形容詞句+名詞句 動詞=「飛ぶ」 名詞句=名詞句+並列助詞+名詞句 名詞句=名詞 名詞句=名詞句+係助詞 文=名詞句+「だ」

3.格文法 格文法の目的 ○ 私は京都へ行く × 私は京都へ食べる × 私はりんごへ行く ○ 私はりんごを食べる × 私は京都を行く ○  私は京都へ行く ×  私は京都へ食べる ×  私はりんごへ行く ○  私はりんごを食べる ×  私は京都を行く 文の構造は同じなのに、なぜ○と×になるのか? 動詞と名詞(句)の関係がおかしい

3.格文法 格  動詞(句)に対する文法的、意味的な 役割を表す ○ 私は京都へ行く ○ 私はりんごを食べる     役割を表す ○  私は京都へ行く ○  私はりんごを食べる 私  「行く」、「食べる」という動作の主体(動作主) 京都  「行く」という動作の目標 りんご  「食べる」という動作の対象

3.格文法 ○ 私は京都へ行く × 私は京都を行く × 私はりんごへ行く 京都  「行く」という動作の目標 「行く」は動作の目標が必要 ○  私は京都へ行く ×  私は京都を行く ×  私はりんごへ行く 京都  「行く」という動作の目標 「行く」は動作の目標が必要 「京都」は動作の目標になる 「りんご」は動作の対象になる 名詞+「へ」は動作の目標 名詞+「を」は動作の対象

3.格文法 ○ 私は京都へ行く × 私は京都を行く × 私はりんごへ行く 京都  「行く」という動作の目標 「行く」は動作の目標が必要 ○  私は京都へ行く ×  私は京都を行く ×  私はりんごへ行く 京都  「行く」という動作の目標 「行く」は動作の目標が必要 「京都」は動作の目標になる 「りんご」は動作の対象になる 名詞+「へ」は動作の目標 名詞+「を」は動作の対象

3.格文法 ○ 私は京都へ行く × 私は京都を行く × 私はりんごへ行く 京都  「行く」という動作の目標 「行く」は動作の目標が必要 ○  私は京都へ行く ×  私は京都を行く ×  私はりんごへ行く 京都  「行く」という動作の目標 「行く」は動作の目標が必要 「京都」は動作の目標になる 「りんご」は動作の対象になる 名詞+「へ」は動作の目標 名詞+「を」は動作の対象  ×

3.格文法 ○ 私は京都へ行く × 私は京都を行く × 私はりんごへ行く 京都  「行く」という動作の目標 「行く」は動作の目標が必要 ○  私は京都へ行く ×  私は京都を行く ×  私はりんごへ行く 京都  「行く」という動作の目標 「行く」は動作の目標が必要 「京都」は動作の目標になる 「りんご」は動作の対象になる  × 名詞+「へ」は動作の目標 名詞+「を」は動作の対象

3.格文法 私は京都へ行く 格フレーム フレーム名 フレーム スロット名1 スロット値1 スロット名2 スロット値2 スロット名1   スロット値1 スロット名2   スロット値2 スロット名3   スロット値3 行く 格フレーム 動作主体       ?     ?       京都   時制       現在

3.格文法 私は京都へ行く 格フレーム フレーム名 フレーム スロット名1 スロット値1 スロット名2 スロット値2 スロット名1   スロット値1 スロット名2   スロット値2 スロット名3   スロット値3 行く 格フレーム 動作主体       私   目標       京都   時制       現在

質問&レポート yama@info.kindai.ac.jp http://www.info.kindai.ac.jp/NLP