自然言語処理2016 Natural Language Processing 2016 url: http://kameken.clique.jp/Lectures/Lectures2016/NLP2016/ 平成28年度後期 東京工科大学 コンピュータサイエンス学部 担当：亀田弘之

今日の学習目標 講義概要を説明できる。 本講義で得られる知識・スキル・ コンピテンシを知る。 (講義の開講日とurlの確認) Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

ＣＳの学生に必要なコンピテンシの一覧 （注）教科書「教えないＰＢＬ」（仮称）より，神沼 他 （注）教科書「教えないＰＢＬ」（仮称）より，神沼　他 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

自然言語処理（授業概要より） 　　私たち人間が日常の生活で使用している日本語や英語のことを、自然言語というが、本講義では自然言語の文を計算機に理解させたり、あるいは計算機に文を生成させたりするための基礎技術について講述する。 実例を通じて、単語の認識、文の統語構造解析、意味解析の手法について分析的に考える。その際、自然言語処理に必要な知識（辞書・文法など）についても考察するとともに、人間における言語処理過程についても対照素材として取り上げ、自然言語とその処理方法についてより深い理解を得ることを目指す。 なお、自然言語処理には種々のアプリケーションがあり、それらを実現するためには今後どのような技術的課題があるのかもあわせて紹介したい。 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

自然言語処理（授業概要より） 　　私たち人間が日常の生活で使用している日本語や英語のことを、自然言語というが、本講義では自然言語の文を計算機に理解させたり、あるいは計算機に文を生成させたりするための基礎技術について講述する。 実例を通じて、単語の認識、文の統語構造解析、意味解析の手法について分析的に考える。その際、自然言語処理に必要な知識（辞書・文法など）についても考察するとともに、人間における言語処理過程についても対象素材として取り上げ、自然言語とその処理方法についてより深い理解を得ることを目指す。 なお、自然言語処理には種々のアプリケーションがあり、それらを実現するためには今後どのような技術的課題があるのかもあわせて紹介したい。 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

本講義を受けると… NLPに関する基礎的概念を 自分自身の言葉で説明できる。 NLPの簡単なプログラムを 自力で書くことができる。 形式言語に関する見識を得られる。 オートマトンの意義が分かる。 “言語”に関する見識が深まる。 Prolog言語が学べる。 言語処理のツールに詳しくなれる。 NLPのアプリケーションが提案できる。 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

本講義を受けると… NLPに関する基礎的概念を 自分自身の言葉で説明できる。（試験対象） 形式言語に関する見識を得られる。（試験対象） オートマトンの意義が分かる。（試験対象） “言語”に関する見識が深まる。（試験対象） Prolog言語が学べる。（レポート） 言語処理のツールに詳しくなれる。（レポート） NLPのアプリケーションが提案できる。 （試験対象） Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

自然言語処理の応用 情報検索 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

情報検索 Information Retrieval(IR)はWebの発展に伴い、ますますその重要性を増している。多くのWebは自然言語で書かれており、また、自然言語による検索は多くの人にとって便利である。 参考文献： Spidering Hacks (Python言語) Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

機能語と内容語 自然言語は人間相互の意思疎通のための道具であり、それをコンピュータにより処理することは社会的に意義のあることである。 問：どれが機能語でどれが内容語か？ Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

検索の方式 ディレクトリ方式 キーワード方式 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

検索の方式 手作業分類 自動分類 ディレクトリ方式 キーワード方式 （注）自動分類の際には，データ収集も自動的に行われていることが多い．自動収集用ソフトウェアを，crawler、scraper検索ロボットなどと呼ぶ． Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

質問：何か良いアイデア ありますか？ さて、キーワードの見つけ方 定義： キーワード ＝ そのページ・文章等で重要な用語 疑問： どうやって見つけるのだろうか？ 質問：何か良いアイデア 　　　　ありますか？ Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

その１つに，tf-idf法がある。 キーワードの見つけ方 定義： キーワード ＝ そのページ・文章等で重要な用語 疑問： どうやって見つけるのだろうか？ その１つに，tf-idf法がある。 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

語の重要度の計算法 tf・idf法 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

具体例で理解しよう！ Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

tf・idf法の考え方(1) 文書 キーワード Doc1 言語 コンピュータ 問題 Doc2 コンピュータ 問題 情報 Doc3 言語　　コンピュータ　　問題 Doc2 コンピュータ　　問題　　情報 Doc3 言語　　問題　　情報 Doc4 問題　　情報 （注）キーワードを「索引語」ということもある． Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

tf・idf法の考え方(2) キーワード 文 書 言語 Doc1 Doc3 コンピュータ Doc1 Doc2 問題 文　　　書 言語 Doc1 Doc3 コンピュータ Doc1 Doc2 問題 Doc1 Doc2 Doc3 Doc4 情報 Doc2 Doc3 Doc4 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

tf・idf法の考え方(3) TF Doc1 Doc2 Doc3 Doc4 IDF 2 1 3 1.3 言語 コンピュータ 問題 情報 1 コンピュータ 問題 3 情報 1.3 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

tf・idf法の考え方(4) TF・IDF Doc1 Doc2 Doc3 Doc4 言語 4 2 コンピュータ 問題 3 1 情報 1.3 2 コンピュータ 問題 3 1 情報 1.3 2.6 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

過去問を配布します。 （注） 次回もこの続きと質問大会をします。 試験の日時を確認しておいてください。 持ち込みは不可です。 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)