形態素解析と構文解析 金子邦彦
自然言語処理 人間のことば(日本語や英語など)を,コン ピュータが処理することを,自然言語処理と いう
自然言語処理の技術 文を単語に分割(単語の切り出し) 単語の種類(品詞)の判定 係り受けの関係などの分析(構文解析)
単語の切り出しと品詞の判定の例 白い雲と青い空が美しい → 白い 雲 と 青い 空 が 美しい → 白い 雲 と 青い 空 が 美しい 単語ごとの読み仮名,品詞などが, コンピュータにより得られている
パソコン演習 ① MeCab システムと関連ファイル等をインス トールするために, 次のコマンドを入れる sudo apt -yV install mecab libmecab-dev mecab-utils mecab-jumandic-utf8 mecab-naist-jdic python-mecab → ここまでで1行 sudo pip3 install mecab-python3 ② Python プログラムを動かしたい. ※ PyCharm, Anaconda, spyder3, ipython3 などあり 得る Raspberry Pi のときは, spyder3 が扱いやすい
パソコン演習 ③ 「海は広い」を形態素解析する Python プログラムを実行 import sys import MeCab m = MeCab.Tagger ("-Ochasen") print(m.parse ("海は広い"))
④ 引き続き,次のプログラムを入れる.結果を確認 print(m.parse ("白い雲と青い空が美しい"))
構文解析の例 構文解析 KNP のデモサイト http://lotus.kuee.kyoto-u.ac.jp/nl-resource/cgi-bin/knp.cgi
自然言語処理の用途 スマホやパソコンでのかな漢字変換,予測変換 機械翻訳 「Google 翻訳」など 対話システム 「Siri」,「Amazon Echo」など
まとめ 単語 単一の意味のまとまり 品詞 単語の種別 係り受け 主語,述語,修飾語などの,単語間の 関係 単語 単一の意味のまとまり 品詞 単語の種別 係り受け 主語,述語,修飾語などの,単語間の 関係 形態素解析 自然言語の文から単語を切り出し, 品詞を推定すること 構文解析 係り受けの関係などを分析すること