形態素解析と構文解析 金子邦彦.

Slides:



Advertisements
Similar presentations
東京工科大学 コンピュータサイエンス学部 亀田弘之
Advertisements

情報処理3 アプリケーション プログラミング 今井孝明.
自然言語処理プログラミング勉強会0 - プログラミング入門
自然言語処理:第3回 1.前回の確認 2.構文解析 3.格文法.
最大エントロピーモデルに基づく形態素解析と辞書による影響
1.コンピュータと情報処理 p.20 第1章第1節 3.ソフトウェア ソフトウェア 基本ソフトウェア
言語モデル(200億文のGoogle日本語Nグラムから計算)
言語体系とコンピュータ 第5回.
Java I 第2回 (4/18)
UNIX Life KMSF M2 saburo.
知識情報演習Ⅲ(後半第1回) 辻 慶太(水)
情報学類 吉田光男 アドバイザー教官: 山本幹雄 先生
人工知能概論 第12回 言語と論理(1) 自然言語処理
情報とコンピュータ 静岡大学工学部 安藤和敏
連想概念辞書の構築 感性語の収集 ニューラルネットによる実装 マルチモーダル対話システム 漢字フォントの合成
東京工科大学 コンピュータサイエンス学部 亀田弘之
OSC京都 2016 おーぷん万葉プロジェクト 京橋 ひよわ
テキストマイニング, データマイニングと 社会活動のトレース
コーパス言語学実践 2006年度2学期 第5回.
1.自然言語処理システム 2.単語と形態素 3.文節と係り受け
4Y-4 印象に残りやすい日本語パスワードの合成法
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
形態素解析および係り受け解析・主語を判別
DixChange プロジェクト ~辞書共通化の試み~
教師あり学習と ディープラーニング 金子邦彦.
動詞の共起パターンを用いた 動作性名詞の述語項構造解析
1月19日 辞書 自然言語処理における辞書の役割 機械辞書設計の要点 辞書の種類と用途.
検索エンジンを利用した Covert Channelの検出
【プログラミング応用】 必修2単位 通年 30週 授業形態:演習.
計算物理学基礎 第1回 UNIXの基礎 C言語の基本.
大規模データによる未知語処理を統合した頑健な統計的仮名漢字変換
ChaIME: 大規模コーパスを 用いた統計的仮名漢字変換
ai-1. 人工知能を演習と実践で学ぶ シリーズ
平成30年度高知工科大学教職科目 微分方程式特論I 11 高知大学教育学部技術教育コース 北川 晃.
自然言語処理2016 -平成28年11月7日・14日(No.6&7)-
大規模データによる未知語処理を統合したスケーラブルな仮名漢字変換
東京工科大学 コンピュータサイエンス学部 亀田弘之
pp-9. Python のモジュール、パッケージ
データ工学特論 第六回 木村昌臣.
<日本語教育とAI:研究実践例と今後の課題 > 読解支援システムへのAI活用の可能性と留意点
テキストマイニング, データマイニングと 社会活動のトレース
環境システム科学演習(後半) FORTRAN & C(以降FORTRANと省略して呼びます)は富士通
東京工科大学 コンピュータサイエンス学部 亀田弘之
第5章 計算とプログラム 本章で説明すること ・計算の概観と記述法 ・代表的な計算モデル ・プログラムとプログラム言語.
東京工科大学 コンピュータサイエンス学部 亀田弘之
東京工科大学 コンピュータサイエンス学部 亀田弘之
pp-1. Python を演習と実践で学ぶ シリーズ
コンパイラ 2012年10月1日
Pp-12. Python の numpy Python を演習と実践で学ぶシリーズ 金子邦彦.
ai-5. 人工知能の Python パッケージ TensorFlow と Keras の動作確認
データ工学特論 第六回 木村昌臣.
自然言語処理2015 Natural Language Processing 2015
pf-5. 関数呼び出し,スコープ (Python プログラミング基礎を演習で学ぶシリーズ)
pf-6. スタック (Python プログラミング基礎を演習で学ぶシリーズ)
pp-9. Python のモジュール、パッケージ
並列構造に着目した係り受け解析の改善に関する研究
情報とコンピュータ 静岡大学工学部 安藤和敏
第7回 Q&A メール講座 Next Stage:翻訳力アップ自己トレ(1)
シソーラス情報を用いた童話文章登場人物の 感情情報読み取りシステム
ca-9. 数の扱い (コンピュータアーキテクチャとプロセッサ)
コンパイラ 2012年10月11日
ニューラルネットワークの仕組み (Raspberry PI 演習で学ぶ) AI DATA VASSEL 資料
情報とコンピュータ 静岡大学工学部 安藤和敏
pf-2. 条件分岐 (Python プログラミング基礎を演習で学ぶシリーズ)
2. 画像とカメラ 金子邦彦.
自然言語処理2016 Natural Language Processing 2016
mi-8. 自然言語処理 人工知能を演習で学ぶシリーズ(8)
情報処理Ⅱ 2005年11月25日(金).
東京工科大学 コンピュータサイエンス学部 亀田弘之
Presentation transcript:

形態素解析と構文解析 金子邦彦

自然言語処理 人間のことば(日本語や英語など)を,コン ピュータが処理することを,自然言語処理と いう

自然言語処理の技術 文を単語に分割(単語の切り出し) 単語の種類(品詞)の判定 係り受けの関係などの分析(構文解析)

単語の切り出しと品詞の判定の例 白い雲と青い空が美しい → 白い 雲 と 青い 空 が 美しい  → 白い 雲 と 青い 空 が 美しい 単語ごとの読み仮名,品詞などが, コンピュータにより得られている

パソコン演習 ① MeCab システムと関連ファイル等をインス トールするために, 次のコマンドを入れる sudo apt -yV install mecab libmecab-dev mecab-utils mecab-jumandic-utf8 mecab-naist-jdic python-mecab → ここまでで1行 sudo pip3 install mecab-python3 ② Python プログラムを動かしたい. ※ PyCharm, Anaconda, spyder3, ipython3 などあり 得る Raspberry Pi のときは, spyder3 が扱いやすい

パソコン演習 ③ 「海は広い」を形態素解析する Python プログラムを実行 import sys import MeCab m = MeCab.Tagger ("-Ochasen") print(m.parse ("海は広い"))

④ 引き続き,次のプログラムを入れる.結果を確認 print(m.parse ("白い雲と青い空が美しい"))

構文解析の例 構文解析 KNP のデモサイト http://lotus.kuee.kyoto-u.ac.jp/nl-resource/cgi-bin/knp.cgi

自然言語処理の用途 スマホやパソコンでのかな漢字変換,予測変換 機械翻訳 「Google 翻訳」など 対話システム 「Siri」,「Amazon Echo」など

まとめ 単語 単一の意味のまとまり 品詞 単語の種別 係り受け 主語,述語,修飾語などの,単語間の 関係 単語 単一の意味のまとまり 品詞 単語の種別 係り受け 主語,述語,修飾語などの,単語間の 関係 形態素解析 自然言語の文から単語を切り出し, 品詞を推定すること 構文解析 係り受けの関係などを分析すること