大阪教育大学大学院教育学研究科 総合基礎科学専攻 中窪 仁 Web検索における ページのグループ化 大阪教育大学大学院教育学研究科 総合基礎科学専攻 中窪 仁
はじめに リンク構造解析によるスコアリング 推薦したいページにリンクできない可能性 PageRankアルゴリズム 「リンク行為=推薦行為」と定義 隣接関係を基にスコアリング 推薦したいページにリンクできない可能性 隣接関係だけではモデル化が不可能
提案 隣接関係を拡張したスコアリング Webページのグループ化 グループ化スコアリング ランキング 同一作成者による類似情報ページをグループ化 グループ内の隣接関係を削除 = 隣接関係の拡大 グループ化スコアリング グループ化済みリンク構造を基にスコアリング ランキング
グループ化 ディレクトリ構造方式 リンク構造方式 B C E D A B C E D A HTML Root HTML Root Document Root Document Root
スコアリング ディレクトリ構造方式 リンク構造方式 B C E D A H G F B C E D A H F G B C E D A H
ランキング リンク構造解析と全文検索のスコアを併合 乗算方式 加算方式 (リンク構造解析スコア) × (全文検索スコア) (リンク構造解析スコア) + (全文検索スコア)
実験概要 グループ化によるランキング変化を確認 グループ化手法 スコアリング手法 ランキング手法 ディレクトリ構造方式(簡易版) 全文検索スコア:tf‐idf アルゴリズム リンク構造解析スコア:PageRankアルゴリズム ランキング手法 乗算方式・加算方式
実験対象 NTCIR‐4テストコレクション 検索対象 検索語句 NW100G‐01(元HTMLデータ100GB) NTCIR‐4 Web Task B Topics 300課題から197課題を有効課題として抽出
収集データ 全文検索スコアによるランキング リンク構造解析スコアによるランキング 上記2項目の併合スコアによるランキング グループ化有無の2パターン 上記2項目の併合スコアによるランキング 乗算方式 (全文検索スコア) × (リンク構造解析スコア) 加算方式 (全文検索スコア) + (W × (リンク構造解析スコア)) W = {1,2,3,4,5}
グループ化評価 グループ化あり グループ化なし 最大スコア 3.495E-15 2.215E-11 最小スコア 0.278E-15 0.620E-15 平均スコア 1.859E-15 3.581E-15 分散 1/∞ 5.558E-28 中央値 1.883E-15 7.111E-16 項目最大数 565,314 179,903 項目最小数 1
評価比較(WRR)
手法別検索結果
手法別傾向 グループ化有無2種類のスコアを併合すれば 検索精度が向上するのではないか? グループ化あり グループ化なし Rank変動幅 小 大 効果発揮帯 低Rank帯 高Rank帯 全文検索の影響 受けやすい 受けにくい グループ化有無2種類のスコアを併合すれば 検索精度が向上するのではないか?
追加実験 グループ化有無2種のスコアを併合 収集データ 加算方式 (全文検索スコア) + (W1 × (グループ化ありリンク構造解析スコア)) + (W2 × (グループ化なしリンク構造解析スコア)) W1 = {1,3,5},W2 = {1,3,5}
評価比較(WRR)
考察 グループ化スコアリング ランキング 既存手法ほど劇的な効果はない 既存手法では効果の低い文書に効果がある 全文検索によるランキングの底上げが可能 全文検索に漏れた文書の抽出は不可能 既存手法との併合で精度が全体的に向上
今後の課題 グループ化スコアリング 別グループ化手法の有効性の確認 ランキング 乗算・加算以外の併合方法の検証 各スコアの適正重みの検証
ありがとうございました
評価方式 NTCIR‐4評価方式 WRR(Weighted Reciprocal Rank) DCG(Discounted Cumulative Gain) 被検索トピック数 (Cumulative Number of Topics for Relevant Topics were Retrieved) 11点平均適合率(Recall‐Precision)
手法単体(WRR)
手法単体(DCG)
手法単体(トピック)
手法単体(11点)
NormalPageRank(WRR)
NormalPageRank(DCG)
NormalPageRank(トピック)
NormalPageRank(11点)
GroupedPageRank(WRR)
GroupedPageRank(DCG)
GroupedPageRank(トピック)
GroupedPageRank(11点)
評価比較(WRR)
評価比較(WRR‐Top100)
評価比較(DCG)
評価比較(DCG‐Top100)
評価比較(トピック)
評価比較(トピック‐Top100)
評価比較(11点)