提示順と判定基準が レレバンス判定に与える影響 安形 輝（亜細亜大学）

情報検索評価の枠組み レレバンス概念 レレバンス判定 検索手法の評価 利用者志向 レレバンス 主題的 レレバンス レレバンス判定そのものに関する研究は十分でない ⇒ （最近の情報環境下における）レレバンス判定について実験 ここでは判定尺度と提示順に焦点

レレバンス判定は一般的に 段階尺度 で行われる – 「レレバント」「ノンレレバント」 – 細かさにより２、３、５、７段階など Eisenberg （ 1988 ） “Measuring Relevance Judgment” – 段階尺度 と マグニチュード推定法 の 比較 ⇒ マグニチュード推定法 の方が自由度が高く 提示順などの影響を受けにくい 先行研究：判定尺度の影響 範囲をあまり定めずに 与えられた刺激を任意 の数値等で表現させる 制限の少ない尺度

先行研究：提示順の影響 順序効果 – 何らかの価値判断を行うときに提示順が影響 例）最高裁裁判官国民審査、料理コンテストなど Eisenberg ＆ Barry （ 1988 ） “Order Effects : A Study of the Possible Influence of Presentation Order on User Judgment of Document Relevance” – 提示順別のレレバンス判定を比較 「大⇒小」過小評価 「小⇒大」過大評価 Parker ら（ 1990 ） – 文献数が 15 件以下であれば影響はみられない

研究目的  既往研究の手法によるウェブの判定実験 レレバンス判定において ＊判定尺度による影響＊ ＊提示順の影響＊ が観察されるか 既往研究との違い – 提示順と判定尺度を関連させた分析 – ウェブシステムを使う 対象がインターネット上のニュース GUI 部品を使った判定尺度（スライダー）の追加 – 被験者数

被験者 – 亜細亜大学夏期司書講習の受講生 ２回の実験 – 実験１－分析の中心となる実験 対象：２００４年度受講生 検索質問：１問 提示文献数：１０件ｘ１問 – 実験２－追加的な実験 対象：２００５年度受講生 検索質問：３問 提示文献数：６件ｘ３問 実験環境

検索質問 インターネット上で新聞記事を探すとき にある程度の件数がヒットすると予想さ れる質問 利用者の欲しい文献、背景、検索に使わ れたキーワードから構成 質問例）

レレバンス判定の対象文献 検索質問のキーワードで実際に検索した記事 –Yahoo! NEWS 、 Google ニュース日本版 専門知識がなくとも判定可能な一般記事 あらかじめレレバンス評価を行い「大⇒小」順 「小⇒大」順、「混合」の３グループを用意

① 5 段階尺度 ②スライダー ③マグニチュード推定法

３種類の提示順 始 提示順①「大⇒小」 提示順②「小⇒大」 提示順③「混合」 終

実験の手順 1. システムへアクセス 2. 実験の説明 3. 基本的な属性の入力 4. 検索質問の説明 5. レレバンス判定 6. 協力への謝辞

実験の手順 1. システムへアクセス 2. 実験の説明 3. 基本的な属性の入力 4. 検索質問の説明 5. レレバンス判定 6. 協力への謝辞

実験の手順 1. システムへアクセス 2. 実験の説明 3. 基本的な属性の入力 4. 検索質問の説明 5. レレバンス判定 6. 協力への謝辞

1. システムへアクセス 2. 実験の説明 3. 基本的な属性の入力 4. 検索質問の説明 5. レレバンス判定 6. 協力への謝辞 実験の手順 実験１では１問 実験２では３問 この時に判定尺度と提示 順を機械的に割り当て

1. システムへアクセス 2. 実験の説明 3. 基本的な属性の入力 4. 検索質問の説明 5. レレバンス判定 6. 協力への謝辞 実験の手順 実験１では１０件 実験２では６件 実験１では１問 実験２では３問 この時に判定尺度と提示 順を機械的に割り当て

1. システムへアクセス 2. 実験の説明 3. 基本的な属性の入力 4. 検索質問の説明 5. レレバンス判定 6. 協力への謝辞 実験の手順 実験１では１０件 実験２では６件

被験者の基本的属性 実験１実験２ 性別 女性男性不明女性男性 年代 小計 総計

実験１（人数） 提示順 合計 大⇒小小⇒大混合 尺度 5 段階 スライダー マグニチュー ド 合計 実験２（延べ人数） 提示順 合計 大⇒小小⇒大混合 尺度 5 段階 スライダー マグニチュード 合計 被験者への割当て ほぼ同じ数 の被験者

判定尺度の正規化 各判定尺度での値は単位が異なるため比較ができ ない 個々の質問の判定間では判定基準は一定と仮定 最小値＝０、最大値＝１として各尺度の正規化

マグニチュード推定法の値について 「どのような値でも」と指示しているにも関わら ず 100 点満点にしている被験者が多い 全判定の 25.4% の最大値が 100 全判定の 47.2% の判定値が の範囲内 – 日本人独特の特性？あるいは指示の不徹底？ マグニチュード推定法：参考値

判定尺度ごとの判定値分布 スライダー（とマグニチュー ド推定法）は５段階尺度と比 べ極端な値が多い

提示順の影響 Eisenberg らの研究と同様の形で分散分析 「大⇒小」「小⇒大」グループ間に差が見ら れるか ↓ 「大⇒小」「小⇒大」グループ間の分析では どの尺度も統計的に有意な差 –p 値の１％水準で「提示順グループ間の平均は等 しい」という帰無仮説を棄却 – 実験２でも同様の結果

既往研究との比較 Eisenberg らの研究との比較 – ５段階尺度 提示順の影響 → 同様の傾向 – マグニチュード推定法（＊） 提示順の影響 → 異なる傾向 Parker らの研究との比較 – 少ない文献数でも提示順の影響 → 異なる傾向

５段階スライダー 小⇒大大⇒小小⇒大大⇒小 文献 文献 文献 文献 文献 文献 文献 文献 文献 文献 最大値 最小値 今回と Eisenberg らの研 究 ↓ 大⇒小：過小評価 同様の傾向 小⇒大：過大評価 ５段階評価： 同様の傾向 スライダー：最小値では異なる傾向？

判定尺度と提示順：最小値頻度 最小値頻度 判定尺度 ５段階スライダー マグニチュー ド 提示順提示順 大⇒小 4.83 回 2.82 回 2.94 回 小⇒大 3.53 回 3.00 回 2.44 回 混合 3.56 回 2.32 回 2.95 回 最小値頻度：ある質問の判定中に最小値が何回出現するか ≒下限への到達しやすさ

「大⇒小」最小値頻度の違い （イメージ図） 始終 提示順 スライダー ５段階 4.83 件 2.82 件 マグニチュード 2.94 件 大 小

まとめ レレバンス判定に関する判定実験を行い簡 単な分析を行った – 判定尺度間で異なる分布見られた – 提示順による違いが確認された – ５段階尺度は提示順により過大評価や過小評価、 最小値にすぐ到達するなどの傾向が見られた

今後の展開 実験データの整理とより高度な分析 マグニチュード推定法の判定値に関する 検討 判定時間の分析

提示順と判定基準が レレバンス判定に与える影響 安形 輝（亜細亜大学）

＊インターネット上の検索システ ムあるいはブラウザによって キーワードをハイライト （黄色く色づけ） ⇒ キーワードを容易に識別 キーワードのハイライト

情報検索評価の枠組み レレバンス概念 レレバンス判定 検索手法の評価

主題的 レレバンス レレバン ス判定 検索手法の評価 利用者志向 レレバンス 質的研究 レレバンス判定そのものに関する研究は十分でない ⇒ （最近の情報環境下における）レレバンス判定について実験 具体的には判定尺度と提示順に焦点

発表の構成 本研究の背景 – レレバンス判定に関する研究の必要性 – 既往研究の成果 レレバンス判定実験 – 実験環境 – 実験結果 まとめ

判定尺度の影響 分散分析により５段階尺度、スライダー、マ グニチュード推定法（を正規化した値）の間 に差が見られるか ↓ 各尺度グループ間の分散分析で統計的に有意 な差 –p 値の１％水準で「各尺度グループ間の平均は等 しい」という帰無仮説を棄却 – 実験２でも同様の結果