自然言語処理2016 Natural Language Processing 2016

Slides:



Advertisements
Similar presentations
コンピュータサイエンス 概論 2015 平成 27 年 4 月 13 日(月) 担当教員:亀田弘之.
Advertisements

Software Engineering Laboratory, Department of Computer Science, Graduate School of Information Science and Technology, Osaka University 1 ソフトウェア部品推薦のための.
自然言語処理 平成 24 年 11 月 5 日 (No5)- 東京工科大学 コンピュータサイエンス学部 亀田弘之.
電子書籍の検索機能の改善 木下研究室 201002713 鴫原 善寿. 背景 スマートフォンなどの携帯端末の普及と ともに電子書籍に注目が浴びた。中でも amazon の kindle など電子書籍の専用端末も 現れた。 電子書籍はデータなので本棚もいらず、 持ち運びも容易になるなど様々な恩恵を もたらした。
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
知識情報演習Ⅲ(後半第1回) 辻 慶太(水)
自然言語処理2007 Natural Language Processing
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
第5研究グループ 教育システム組 卒研テーマ紹介
1.自然言語処理システム 2.単語と形態素 3.文節と係り受け
自然言語処理2015 Natural Language Processing 2015
情報科学1(G1) 2016年度.
形態素解析および係り受け解析・主語を判別
テキストの類似度計算
情報検索演習 第8回 パソコンを起動しておくこと 前から4列目までに着席すること 2005年11月30日 後期 水曜5限
人工知能特論2007 東京工科大学 亀田弘之.
東京工科大学 コンピュータサイエンス学部 亀田弘之
自然言語処理2009 Natural Language Processing
形式言語とオートマトン Formal Languages and Automata 第4日目
東京工科大学 コンピュータサイエンス学部 担当 亀田弘之
自然言語処理2014 Natural Language Processing 2014
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
形式言語とオートマトン Formal Languages and Automata 第4日目
東京工科大学 コンピュータサイエンス学部 亀田弘之
只見町 インターネット・エコミュージアムの「キーワード」検索の改善
WEBアプリケーションの開発 2002年度春学期 大岩研究会2.
自然言語処理2016 -平成28年11月7日・14日(No.6&7)-
平成25年3月27日(水) 東京工科大学 コンピュータ蓑寝椅子学部 在学生ガイダンス
パスファインダーの作成 ※ をダウンロードして読んで下さい。
プログラミング基礎a 第1回 ハードウェアとソフトウェア プログラミング総論 ~プログラミング言語とは~
自然言語処理2008 Natural Language Processing
パスファインダーの作成 ※ sakura. ne. jp/CJE121023
東京工科大学 コンピュータサイエンス学部 亀田弘之
Webコミュニティ概念を用いた Webマイニングについての研究 A study on Web Mining Based on Web Communities 清水 洋志.
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
日本の高校における英語の授業は 英語がベストか?
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 担当 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
平成29年4月10日(月) 東京工科大学 コンピュータサイエンス学部 担当教員:亀田弘之
経済情報処理ガイダンス 神奈川大学 経済学部.
東京工科大学 コンピュータサイエンス学部 担当 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
発表32 レポート評価支援について (剽窃部分と指導箇所の検出)
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
コーパス コーパス(Corpus)はコンピュータの発達とともに、計算機可読なデータを容易に作成・収集することができるようになったことがその背景にある。現在ではコーパス言語学などの学問もある。
平成28年4月11日(月) 東京工科大学 コンピュータサイエンス学部 担当教員:亀田弘之
自然言語処理2015 Natural Language Processing 2015
計算の理論 I -講義について+αー 月曜3校時 大月美佳 平成31年5月18日 佐賀大学理工学部知能情報システム学科.
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 担当 亀田弘之
形式言語とオートマトン Formal Languages and Automata 第5日目
計算の理論 I -講義について+αー 火曜3校時 大月美佳 平成31年8月23日 佐賀大学理工学部知能情報システム学科.
mi-8. 自然言語処理 人工知能を演習で学ぶシリーズ(8)
1.2 言語処理の諸観点 (1)言語処理の利用分野
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
Presentation transcript:

自然言語処理2016 Natural Language Processing 2016 url: http://kameken.clique.jp/Lectures/Lectures2016/NLP2016/ 平成28年度後期 東京工科大学 コンピュータサイエンス学部 担当:亀田弘之

今日の学習目標 講義概要を説明できる。 本講義で得られる知識・スキル・ コンピテンシを知る。 (講義の開講日とurlの確認) Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

CSの学生に必要なコンピテンシの一覧 (注)教科書「教えないPBL」(仮称)より,神沼 他 (注)教科書「教えないPBL」(仮称)より,神沼 他 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

自然言語処理(授業概要より)   私たち人間が日常の生活で使用している日本語や英語のことを、自然言語というが、本講義では自然言語の文を計算機に理解させたり、あるいは計算機に文を生成させたりするための基礎技術について講述する。 実例を通じて、単語の認識、文の統語構造解析、意味解析の手法について分析的に考える。その際、自然言語処理に必要な知識(辞書・文法など)についても考察するとともに、人間における言語処理過程についても対照素材として取り上げ、自然言語とその処理方法についてより深い理解を得ることを目指す。 なお、自然言語処理には種々のアプリケーションがあり、それらを実現するためには今後どのような技術的課題があるのかもあわせて紹介したい。 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

自然言語処理(授業概要より)   私たち人間が日常の生活で使用している日本語や英語のことを、自然言語というが、本講義では自然言語の文を計算機に理解させたり、あるいは計算機に文を生成させたりするための基礎技術について講述する。 実例を通じて、単語の認識、文の統語構造解析、意味解析の手法について分析的に考える。その際、自然言語処理に必要な知識(辞書・文法など)についても考察するとともに、人間における言語処理過程についても対象素材として取り上げ、自然言語とその処理方法についてより深い理解を得ることを目指す。 なお、自然言語処理には種々のアプリケーションがあり、それらを実現するためには今後どのような技術的課題があるのかもあわせて紹介したい。 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

本講義を受けると… NLPに関する基礎的概念を 自分自身の言葉で説明できる。 NLPの簡単なプログラムを 自力で書くことができる。 形式言語に関する見識を得られる。 オートマトンの意義が分かる。 “言語”に関する見識が深まる。 Prolog言語が学べる。 言語処理のツールに詳しくなれる。 NLPのアプリケーションが提案できる。 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

本講義を受けると… NLPに関する基礎的概念を 自分自身の言葉で説明できる。(試験対象) 形式言語に関する見識を得られる。(試験対象) オートマトンの意義が分かる。(試験対象) “言語”に関する見識が深まる。(試験対象) Prolog言語が学べる。(レポート) 言語処理のツールに詳しくなれる。(レポート) NLPのアプリケーションが提案できる。 (試験対象) Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

自然言語処理の応用 情報検索 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

情報検索 Information Retrieval(IR)はWebの発展に伴い、ますますその重要性を増している。多くのWebは自然言語で書かれており、また、自然言語による検索は多くの人にとって便利である。 参考文献: Spidering Hacks (Python言語) Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

機能語と内容語 自然言語は人間相互の意思疎通のための道具であり、それをコンピュータにより処理することは社会的に意義のあることである。 問:どれが機能語でどれが内容語か? Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

検索の方式 ディレクトリ方式 キーワード方式 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

検索の方式 手作業分類 自動分類 ディレクトリ方式 キーワード方式 (注)自動分類の際には,データ収集も自動的に行われていることが多い.自動収集用ソフトウェアを,crawler、scraper検索ロボットなどと呼ぶ. Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

質問:何か良いアイデア ありますか? さて、キーワードの見つけ方 定義: キーワード = そのページ・文章等で重要な用語 疑問: どうやって見つけるのだろうか? 質問:何か良いアイデア     ありますか? Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

その1つに,tf-idf法がある。 キーワードの見つけ方 定義: キーワード = そのページ・文章等で重要な用語 疑問: どうやって見つけるのだろうか? その1つに,tf-idf法がある。 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

語の重要度の計算法 tf・idf法 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

具体例で理解しよう! Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

tf・idf法の考え方(1) 文書 キーワード Doc1 言語 コンピュータ 問題 Doc2 コンピュータ 問題 情報 Doc3 言語  コンピュータ  問題 Doc2 コンピュータ  問題  情報 Doc3 言語  問題  情報 Doc4 問題  情報 (注)キーワードを「索引語」ということもある. Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

tf・idf法の考え方(2) キーワード 文 書 言語 Doc1 Doc3 コンピュータ Doc1 Doc2 問題 文   書 言語 Doc1 Doc3 コンピュータ Doc1 Doc2 問題 Doc1 Doc2 Doc3 Doc4 情報 Doc2 Doc3 Doc4 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

tf・idf法の考え方(3) TF Doc1 Doc2 Doc3 Doc4 IDF 2 1 3 1.3 言語 コンピュータ 問題 情報 1 コンピュータ 問題 3 情報 1.3 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

tf・idf法の考え方(4) TF・IDF Doc1 Doc2 Doc3 Doc4 言語 4 2 コンピュータ 問題 3 1 情報 1.3 2 コンピュータ 問題 3 1 情報 1.3 2.6 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)

過去問を配布します。 (注) 次回もこの続きと質問大会をします。 試験の日時を確認しておいてください。 持ち込みは不可です。 Copyright© 2016 School of Computer Science, Tokyo University of Technology(Kameda)