言語体系とコンピュータ 第6回.

Slides:



Advertisements
Similar presentations
PCFG の EM アルゴリズムとス ムージング 二宮 崇 1. 今日の講義の予定 PCFG (Probabilistic Context Free Grammar, 確率付 文脈自由文法 ) EM アルゴリズム スムージング 教科書 北研二 ( 著 ) 辻井潤一 ( 編 ) 言語と計算 4 確率的言語モデル.
Advertisements

プログラミング言語論 プログラミング言語の構 文 水野嘉明. 目次 1. プログラミング言語の構文 2. BNF 3. 文脈自由文法 4. 構文図式 2.
プログラミング言語論 第3回 BNF 記法について(演習付き) 篠埜 功. 構文の記述 プログラミング言語の構文はどのように定式化できるか? 例1 : for ループの中に for ループが書ける。 for (i=0; i
システムソフトウェア 第3回:2007年10月17日(水)   . 2 本日学ぶこと 文法  文字と文字列  無限集合  文法とそのクラス  オートマトン.
自然言語処理 平成 24 年 11 月 5 日 (No5)- 東京工科大学 コンピュータサイエンス学部 亀田弘之.
和田俊和 資料保存場所 /2/26 文法と言語 ー正規表現とオートマトンー 和田俊和 資料保存場所
プログラミング言語論 第10回(演習) 情報工学科 木村昌臣   篠埜 功.
計算の理論 I 文脈自由文法 月曜3校時 大月 美佳 平成15年6月30日 佐賀大学知能情報システム学科.
自然言語処理:第3回 1.前回の確認 2.構文解析 3.格文法.
Problem by D. Mikurube Slides by Y. Izumi
人工知能特論II 二宮 崇.
言語体系とコンピュータ 第5回.
東京工科大学 コンピュータサイエンス学部 亀田弘之
言語処理系(6) 金子敬一.
情報とコンピュータ 静岡大学工学部 安藤和敏
東京工科大学 コンピュータサイエンス学部 亀田弘之
ことばとコンピュータ 2007年度1学期 第3回.
プログラミング言語論 第4回 式の構文、式の評価
計算の理論 II 文脈自由文法と プッシュダウンオートマトン
1.自然言語処理システム 2.単語と形態素 3.文節と係り受け
第12回  自然言語処理.
第6章 ユニフィケーション解析 ユニフィケーション解析とは?
言語処理系(5) 金子敬一.
言語プロセッサ ー第8回目ー.
コンパイラ 2012年10月22日
東京工科大学 コンピュータサイエンス学部 亀田弘之
コンパイラ 2011年10月24日
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
プログラミング言語論 第3回 BNF記法について(演習付き)
東京工科大学 コンピュータサイエンス学部 亀田弘之
人工知能特論II 第2回 二宮 崇.
正則言語 2011/6/27.
東京工科大学 コンピュータサイエンス学部 亀田弘之
形式言語の理論 5. 文脈依存言語.
6.2.4 辞書項目(1) 辞書項目にも、語に対するDAGを与える。
東京工科大学 コンピュータサイエンス学部 亀田弘之
形式言語とオートマトン2016 ~第10日目(形式文法2回目)~
東京工科大学 コンピュータサイエンス学部 亀田弘之
自然言語処理2016 -平成28年11月7日・14日(No.6&7)-
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
計算の理論 I 文脈自由文法の標準形 月曜3校時 大月美佳.
東京工科大学 コンピュータサイエンス学部 担当教員:亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
形式言語とオートマトン2017 ~第10日目(形式文法2回目)~
東京工科大学 コンピュータサイエンス学部 亀田弘之
プログラミング言語論 第9回 情報工学科 木村昌臣 篠埜 功.
コンパイラ 2011年10月20日
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
文法と言語 ー文脈自由文法とLR構文解析ー
計算の理論 I ー正則表現とFAの等価性ー 月曜3校時 大月 美佳.
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
4.プッシュダウンオートマトンと 文脈自由文法の等価性
計算の理論 I 文脈自由文法 月曜3校時 大月美佳.
第7回 Q&A メール講座 Next Stage:翻訳力アップ自己トレ(1)
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
コンパイラ 2012年10月11日
情報とコンピュータ 静岡大学工学部 安藤和敏
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
PEG覚え書き.
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
4.2 再帰下降解析 (1)再帰下降解析とは ■再帰下降解析(Recursive Descent Parsing)
Presentation transcript:

言語体系とコンピュータ 第6回

本日の内容 文がどんな構造をしているか決める(説明編) なぜ決める必要があるか? 必要なもの 黒い目の大きな女の子 I eat the apples in the garden 必要なもの

文がどんな構造をしているか決める なぜそんなことを考える必要があるのか? 次の例文を考えてみる

文がどんな構造をしているか決める なぜそんなことを考える必要があるのか? 次の例文を考えてみる 黒い瞳の大きな女の子

文の構造の曖昧性(1) 黒い瞳の大きな女の子 (((黒い瞳)の)  (大きな女の子))

文の構造の曖昧性(2) 黒い瞳の大きな女の子 (黒い                (((瞳の)大きな)   女の子))

文の構造の曖昧性(3) 黒い瞳の大きな女の子 ((((黒い瞳)の)大きな)  女の子)

文の構造の曖昧性(3) 黒い瞳の大きな女の子               曖昧!

文の構造の曖昧性(4) 黒い瞳の大きな女の子 (黒い (瞳の) ((大きな)(女の子)))

文の構造の曖昧性(5) 黒い瞳の大きな女の子 (黒い (瞳の) ((大きな)(女の子))) これは変!

これは変! 文の構造の曖昧性(6) 黒い瞳の大きな女の子 (黒い (瞳の) ((大きな)(女の子))) 曖昧性はあるものの,少なくとも,文の構造を考えると,おかしなもの(解釈)は排除できる

文がどんな構造をしているか決める なぜそんなことを考える必要があるのか? I ate the apples in the garden. もう1つの例文を考えてみる I ate the apples in the garden.

文の構造の曖昧性2(1) I eat the apples in the garden. Noun Verb Det Noun Prep Det Noun

文の構造の曖昧性2(2) I eat the apples in the garden. 品詞が同じでも... Noun Verb Det Noun Prep Det Noun         品詞が同じでも...

文の構造の曖昧性2(3) I eat the apples in the garden. Noun Verb Det Noun Prep Det Noun

文の構造の曖昧性2(4) I eat the apples in the garden. Noun Verb Det Noun Prep Det Noun 私は庭でりんごを食べた

文の構造の曖昧性2(5) S NP VP VP PP NP NP N V Det N Prep Det N   I   eat   the  apples in   the  garden . 私は庭でりんごを食べた

文の構造の曖昧性2(6) I eat the apples in the garden. Noun Verb Det Noun Prep Det Noun

文の構造の曖昧性2(7) I eat the apples in the garden. Noun Verb Det Noun Prep Det Noun 私は庭のりんごを食べた

文の構造の曖昧性2(8) S NP VP NP VP PP NP NP N V Det N Prep Det N   I   eat   the  apples in   the  garden . 私は庭のりんごを食べた

文がどんな構造をしているか決める どんな構造があるかを見つける必要がある 曖昧なので,複数あることが多い 候補の中でありえないものは排除したい →文として「あり」か,「なし」か   を見極める作業ともいえる

どうやって文の構造を決めるか? ある文字列が文か文でないか? それを克服するには,文法が必要 どうやって決める? 確実なのは母語話者の直感! 母語話者でも判定が難しいこともあるけど... 「まじありえなくなくない?」 どちらにせよ.毎回母語話者が必要だとしたら 不便だし, コンピュータでの処理は無理... それを克服するには,文法が必要

文法(1) 要素G = < VT, VN, P, σ> VT :終端記号 VN :非終端記号 P :生成規則の集合 というような記号を使って表現

文法(2) 文脈自由文法(CFG: Context Free Grammar) 左辺にひとつの非終端記号を置き,それが他の  カテゴリー(列)にどのように置き換わるかを右辺に記述  X → YZ   という形  例: S → NP VP  (文 → 名詞句 動詞句)

文法(3) 文脈自由文法(CFG: Context Free Grammar) G = < VT, VX,VC,PD,PP,σ> σ :初期記号 σ∈ VN というような記号を使って表現

文法(4) 文脈自由文法の例 N→ I, apples, garden V→ eat Det → the Prep→ in PD :辞書規則の集合 (1)S→NP VP (4)NP→DET N (7)VP→VP NP (2)NP→N (5)VP→V (8)VP→VP PP (3)NP→NP PP (6)VP→V NP (9)PP→Prep NP N→ I, apples, garden V→ eat Det → the Prep→ in

文の構造を決める 今回は手順はあまり気にせず作業              S I eat the apples in the garden.     ↑ ボトムアップ

文の構造を決める(2) 今回は手順はあまり気にせず作業 N V Det N Prep Det N PD :辞書規則を調べて,品詞を対応させる I eat the apples in the garden. PD :辞書規則を調べて,品詞を対応させる

文の構造を決める(3) 今回は手順はあまり気にせず作業 PP :句構造規則を調べて,句をつくる N V Det N Prep Det N I eat the apples in the garden. PP :句構造規則を調べて,句をつくる

文の構造を決める(4) 今回は手順はあまり気にせず作業 PP :句構造規則を調べて,句をつくる N V Det N Prep Det N I eat the apples in the garden. PP :句構造規則を調べて,句をつくる (2) NP → N という規則がある!

文の構造を決める(5) 今回は手順はあまり気にせず作業 NP PP :句構造規則を調べて,句をつくる N V Det N Prep Det N I eat the apples in the garden. PP :句構造規則を調べて,句をつくる (2) NP → N という規則がある!

文の構造を決める(6) 今回は手順はあまり気にせず作業 NP PP :句構造規則を調べて,句をつくる N V Det N Prep Det N I eat the apples in the garden. PP :句構造規則を調べて,句をつくる (4)NP → Det N がある

文の構造を決める(7) 今回は手順はあまり気にせず作業 NP NP PP :句構造規則を調べて,句をつくる N V Det N Prep Det N I eat the apples in the garden. PP :句構造規則を調べて,句をつくる (4)NP → Det N がある

文の構造を決める(8) 今回は手順はあまり気にせず作業 NP NP PP :句構造規則を調べて,句をつくる N V Det N Prep Det N I eat the apples in the garden. PP :句構造規則を調べて,句をつくる 以降も最後まで続ける!

文の構造を決める2(1) 今回は手順はあまり気にせず作業 S トップダウン ↓ I eat the apples in the garden. トップダウン     ↓

文の構造を決める2(2) S           NP  VP I eat the apples in the garden.

文の構造を決める2(3) S           NP  VP            I   VP I eat the apples in the garden.

文の構造を決める2(4) S           NP  VP            I   VP I V I eat the apples in the garden.

文の構造を決める2(5) S           NP  VP            I   VP I V I eat I eat the apples in the garden.

文の構造を決める2(6) S           NP  VP            I   VP I V I eat I eat the apples in the garden.

文の構造を決める2(7) S NP VP I VP I V I V NP I eat I eat the apples in the garden.

文の構造を決める2(8) S NP VP I VP I V I V NP I eat I eat NP I eat the apples in the garden.

文の構造を決める2(9) S NP VP I VP I V I V NP I eat I eat NP I eat the apples in the garden. 最後まで  続ける