知識情報演習Ⅲ（後半第5回） 辻　慶太 http://slis.sakura.ne.jp/cje3.

Presentation on theme: "知識情報演習Ⅲ（後半第5回） 辻　慶太 http://slis.sakura.ne.jp/cje3."— Presentation transcript:

1 知識情報演習Ⅲ（後半第5回） 辻　慶太

2 本資料の内容 オンライン検索プログラム レポート課題 成績評価 授業評価

3 索引付けの手順概要（復習） 索引語の抽出 不要語の削除 接辞処理 索引語の重み付け 索引ファイルの編成 文字バイグラム，単語，フレーズなど
検索手法（検索モデル）によっては不要 例えば，論理式によるブーリアンモデルでは不要 索引ファイルの編成 extract.prl stopword.prl stemming.prl tf.prl idf.prl

4 索引付けのプログラム（復習） 文書群ファイル documents.txt 入力 extract.prl 出力 入力 stopword.prl
stemming.prl 出力 tf.prl 入力 索引ファイル index.txt 出力 出力 idf.prl 入力

5 オンライン処理の図解（復習） 文書集合 D1～D10 検索 犬 ロボット 索引付け （オフライン） ①索引語の抽出 索引 転置ファイル 犬
犬　ロボット 索引付け （オフライン） ①索引語の抽出 索引 転置ファイル 犬 → D2(0.1) D3(0.8) D5(1.2) D9(0.1) ロボット → D1(1.2) D3(0.7) D5(0.1) ②文書と重みの探索 ③スコアの計算 D1 = 1.2 D2 = 0.1 D3 = = 1.5 D5 = = 1.3 D9 = 0.1 1. D3 2. D5 3. D1 4. D2 5. D9 個別の文書を読む場合 ④文書の整列

6 オンライン検索の作成方針 索引付けと同様に以下の前処理が必要 その後で文書ごとにスコアを計算し，スコアの降順に整列して出力する
(1) 索引語の抽出 (2) 不要語の削除 (3) 接辞処理 その後で文書ごとにスコアを計算し，スコアの降順に整列して出力する 索引付けのプログラムをそのまま使う 今回作成するプログラム retrieval.prl

7 検索質問ファイルの形式 文書群ファイル（documents.txt）と形式を揃えることで，索引付けのプログラムを流用できるようにする
ただし，１つのファイルには検索質問を１件だけ入力する（その方が処理が簡単になる） 演習のページにある query.txt を使うとよい <QUERY> １つの検索質問 <NUM> 検索質問番号 <TEXT> 検索質問の本文 索引付けのプログラムで，<NUM>中の番号が D で始まることを前提にしている場合は注意 <QUERY> <NUM>Q001</NUM> <TEXT> a web searching system </TEXT> </QUERY>

8 連結方法１： 中間ファイルを作る 中間ファイル 入力 出力 検索質問 ファイル query.txt chuukan1 extract.prl
stopword.prl chuukan3 stemming.prl 索引ファイル index.txt 入力 標準入力 （STDIN） retrieval.prl コマンドライン引数 標準入力と衝突させないため 画面へ出力 % perl extract.prl query.txt > chuukan1 % perl stopword.prl chuukan1 > chuukan2 % perl stemming.prl chuukan2 > chuukan3 % perl retrieval.prl index.txt < chuukan3 コマンドライン引数 標準入力（STDIN）

9 連結方法２： パイプライン処理を行う 入力 検索質問 ファイル query.txt extract.prl 出力 入力
stopword.prl 出力 入力 stemming.prl 索引ファイル index.txt 出力 入力 retrieval.prl 入力 コマンドライン引数 標準入力 （STDIN） 画面へ出力 % perl extract.prl query.txt | perl stopword.prl | perl stemming.prl | perl retrieval.prl index.txt コマンドライン引数 標準入力（STDIN）

10 retrieval.prl の仕様 stemming.prl の出力と索引ファイル（index）を入力し，検索された文書をスコアの降順に整列して出力する ヒット件数（検索された文書数）を先頭の行に出力する hit = 6 D D D … ヒット件数 Q001 web Q001 search Q001 system 文書番号とスコア stemming.prl の出力 retrieval.prl の出力

11 エラー処理 open(IN, $file) || die ”$file: $!”;
ユーザがプログラムを正しく使った場合に正しく動作することは当然 ユーザがプログラムの使い方を誤った場合への対処が重要　→　エラー処理 今までに出てきた例 開こうとしたファイルが開けなかった open(IN, $file) || die ”$file: $!”; ファイルのオープン エラーメッセージを出して終了 または ファイルのオープンに失敗したらエラーメッセージを出して終了

12 retrieval.prl におけるエラー処理
索引ファイルを開く前に，ファイルがコマンドラインで指定されているかどうかを確認する 指定されていない場合は，エラーメッセージを出して強制終了する $0: 実行したプログラムの名称が代入される この場合は retrieval.prl コマンドライン引数の数を確認 if != 1) { print STDERR ”Usage: $0 <index file>\n”; exit; } エラーメッセージを標準エラーに出力する（標準出力に出すと見落とす場合がある） exit 強制終了 このように表示される　→　Usage retrieval.prl <index file>

13 レポート課題 索引付けとオンライン検索のプログラムを作成する プログラムに行番号を付けて，それぞれの行について別紙で説明する
extract.prl, stopword.prl, stemming.prl, tf.prl, idf.prl, retrieval.prl プログラムに行番号を付けて，それぞれの行について別紙で説明する 説明は，プログラム１行につき１文程度でよい

14 プログラムと説明の例（extract.prl）
while ($line = <>) { chomp($line); if ($line =~ /<NUM>(.+)<\/NUM>/) { $docid = $1; } …… プログラムと説明を別のページに印刷する 1　ファイルの内容がなくなるまで１行ずつ読み込む 2　ファイル行の末尾にある改行を削除する 3　ファイル行に <NUM> と </NUM> があれば 4　<NUM> と </NUM> の間にある文字列を$docidに代入する 5　3行目の if 文による条件分岐の終了

15 レポートの提出方法 形式 提出場所 締切（厳守） 表紙： 科目名，受講クラス（火・水），学籍番号，氏名
本文： 6つのプログラムとそれらの説明 注意： 両面印刷し，左上をステープラで止める プログラムと説明が見開きのページになるように どのプログラムか分かるように 可読性が良くなるように努めること 同一・酷似レポートはどちらも０点とする 提出場所 学務係のレポートボックス 受講クラスごとにボックスがあるので間違えないように（間違えた場合は採点対象から漏れる場合があります） 締切（厳守） 3月6日（火） 17:00

16 成績評価 後半５回分の配点（50点） 前半５回分と総合して100点満点で計算し，A～Dを判定する 完成したプログラムの数が多いほど評価は高い
出席（30%） 3点×5回＝15点 レポート（70%） 「プログラム」と「説明」の組で各5点　5点×6 = 30点 レポートの体裁や可読性など　5点 前半５回分と総合して100点満点で計算し，A～Dを判定する 完成したプログラムの数が多いほど評価は高い 全てのプログラムが完成しなくても及第点に及ぶ可能性はあるので，あきらめないように ここでの数値は目安であり，実際の評価では多少変動することがある

17 授業評価 科目番号 良いことは良いと書こう なるべく理由も書こう GE11222
授業方針を変更する場合に，良い部分を削ってしまうことがないように なるべく理由も書こう 否定的なコメントを書く場合 理由がある　→　意見 理由がない　→　誹謗中傷