確信度評定：方法論の吟味と 社会認知研究への応用

Presentation on theme: "確信度評定：方法論の吟味と 社会認知研究への応用"— Presentation transcript:

1 確信度評定：方法論の吟味と 社会認知研究への応用
確信度評定：方法論の吟味と 社会認知研究への応用 東京工業大学・日本学術振興会 村山 航 日本心理学会第72回大会WS 「記憶のモニタリングとコントロール」

2 確信度評定とは ハイデルベルグとボンとでどちらの人口が多いと思いますか この単語は先ほどのリストにありましたか？
１．まずこれらの問題に２択で答えてもらう ２．その上で，答えに対する自身の程度を「５０％」から「１００％」の間で答えてもらう。 ※ 言語的に，「まったく自信がない」から「非常に自信がある」という形式もある。

3 確信度評定の位置づけ 清水先生の本では確信度評定より前の段階に焦点を当てて書いた。今回の発表では，本でも詳しく触れなかった確信度評定の方法論に焦点を当てる。

4 Contents 確信度評定の意義 確信度評定研究が明らかにしたこと 確信度評定の方法論的落とし穴と利用可能性

5 Contents 確信度評定の意義 確信度評定研究が明らかにしたこと 確信度評定の方法論的落とし穴と利用可能性

6 １．意思決定の根幹 期待・価値と並んで人間の意思決定に影響を与える根源的要因
「不確実性下の意思決定」 ニューロエコノミクスの隆盛で再注目 確信度評定のメカニズムを知る ＝ 人間の意思決定メカニズムを知る 確信度が高くて確実な選択肢を選ぶ 確信度の二面性 情報を得るために確信度の低い選択肢を選ぶ

7 Learning rate Uncertainty bonus

8

9 ２．Awareness を知る手段 背景：「無意識の認知プロセス」研究の増加 意識の有無を確信度評定を用いて調べる
Kolb & Braun (1995, Nature): 視覚弁別課題．ターゲットが見えるドット (unpaired dots) とターゲットが（ほぼ）みえないドット (paired dots) の２種類を比較

10 確信度とともに正答率も上昇 確信度と正答率は無関係 無意識の知覚 プロセスの存在 しかし，トータルのパフォーマンスは同じ
Adopted from Kolb & Braun (1995) 確信度とともに正答率も上昇 確信度と正答率は無関係 下の太い線は，それぞれの確信度を選択した割合のヒストグラム 無意識の知覚 プロセスの存在 しかし，トータルのパフォーマンスは同じ

11 近年の方法論の進展 確信度評定は意図的な歪曲に弱い
Post-decision wagering (Persaud et al., 2006, Nat. Neurosci.)

12

13 近年における方法論の進展 判断に対するwagering（賭け） ２値判断 確信度評定は意図的な歪曲に弱い
Post-decision wagering (Persaud et al., 2006, Nat. Neurosci.) High wager あっていたら１ポンドget 違っていたら１ポンドlose 判断に対するwagering（賭け） ２値判断 Low wager あっていたら50ペンスget 違っていたら50ペンスlose 意図的な歪曲を「お金への動機」で除去

14 結論：G. Y. はこの課題を awareness なしでこなしている
Persaud et al. (2006) の blindsight subject G. Y. に対する視覚弁別課題の結果 correct incorrect Total High wager 67 23 90 Low wager 74 36 110 141 59 200 しかし，High wager でも Low wager でも正答率に変化がない 全体的な正答率は高い 結論：G. Y. はこの課題を awareness なしでこなしている

15 まとめ 確信度評定研究の意義 人間の意思決定のメカニズムを考える上で不可欠 人間のAwarenessを調べるのに重要なツール

16 Contents 確信度評定の意義 確信度評定研究が明らかにしたこと 確信度評定の方法論的落とし穴と利用可能性

17 一言でいうと 人間の確信度評定は不正確

18 １．Overconfidence Phenomenon
確信度評定を一定の区間ごとに区切り，その区間ごとに実際の正答率をプロットすると，正答率よりも確信度の方が高くなる現象

19 Overconfidence の説明モデル
Probabilistic mental model: Gigerenzer et al. (1991, Psych. Rev.) Poisson race model: Merkle & Van Zandt (2006, Psych. Rev.) Bayesian model (Moore & Healy, 2008, Psych. Rev.) モデルは口頭説明．これらのどれが妥当かということを検討するのはもちろん大切だが，これらすべてのモデルにも共通する方法論的なアーチファクトがoverconfidence現象にはある． 確信度は，記憶痕跡の強さを直接評価しているのではなく，活性化された手がかりや情報，事前の信念などといった状況証拠から，間接的に推論されたもの。

20 ２．目撃証言と確信度評定の関係 Wells & Murray (1984) のレビュー：確信度評定と正再認のpoint-biserial correlation は平均0.07(!) 理由 確信度評定はさまざまな状況要因に影響を受ける： e.g. 知覚的流暢性 (Koriat et al., 2002; Leboe & Whittlesea, 2002) 「目撃証言」につきまとう独特のプレッシャー

21 適応的意味は？ (e.g., Marsh, Todd, & Gigerenzer, 2004)
まとめと今後の展望 人間の確信度評定は不確実 確信度評定は，そのときに活性化している状況要因に影響を受けやすい 確信度評定は人間の意思決定を導く重要な要因 人間の確信度評定は不正確 適応的意味は？ (e.g., Marsh, Todd, & Gigerenzer, 2004)

22 Contents 確信度評定の意義 確信度評定研究が明らかにしたこと 確信度評定の方法論的落とし穴と利用可能性

23 確信度評定の方法論としての難しさ 確信度の「正確さ」の指標によって，得られる結果が変わってくる (e.g., Olsson, 2000)
選択をしていない選択肢には確信度評定をしていないので，データ構造が複雑。そのため，アーティファクトに気づきにくい

24 例１：Post-decision wagering の問題点
Persaud らが想定している optimal strategy Clifford et al. (2007, TICS) の批判 Optimal strategyは「すべてをhigh wagerにする」では？ Incorrect のとき low wager にするのは一見合理的だが，それならばもう１つの選択肢（正答）を選ぶべきである correct incorrect Total High wager 103 17 120 Low wager 19 61 80 122 78 200 実際は信号検出理論の観点からの批判もしている この課題はawarenessの有無と，optimal strategyの気づきの有無が交絡

25 例２：Overconfidence現象の問題点
回帰直線？ (Erev, 1994) ＝ Overconfidence は判断時の誤差による回帰効果（artifact） Overconfidence 研究では，測定の誤差をできる限り減らす必要性 先ほどのoverconfidence の直線を0-50%までに拡張した（もう１つの選択肢の50-100%の確信度を反転させた）のが新しい図。 まったく同じデータでもProportion of correct の条件つき分布としてプロットすると，なんとunderconfidenceのグラフになってしまう（回帰の方向が変わってくるから）。

26 確信度評定の方法論としての利用可能性 方法論的に扱うのが難しいが，うまく使うと方法論として非常に優れた側面
確信度評定による測定の精度の向上（張, 2007) 識別できなかったモデルの識別 「識別できないモデルの識別」という意味は，とりあえず自分の研究を紹介する中で導入

27 Murayama (in prep)：感情誤帰属手続きへの適用
感情誤帰属手続き (affect misattribution procedure; AMP) Payne et al. (2005, JPSP) による開発 潜在的な態度を測定する尺度：社会認知測度 高い信頼性 (Payne et al., 2005) と予測的妥当性 (Payne et al., 2008, C&E)

28 基本的な手続き Judgment of the “target” Primeに対する潜在的態度 Prime Target
p (“like”| target prime) – p (“like” | no prime) Judgment of the “target” Like -> Left key Dislike -> Right key Primeに対する潜在的態度

29 自動的な判断過程と 統制的（意図的）な修正 過程を分離する必要性
問題点 意図的な反応の修正が入ってしまう：「この文字は『好き』だけど，その前の写真の影響を受けているかもしれない．だから『嫌い』を選ぼう」 自動的な判断過程と 統制的（意図的）な修正 過程を分離する必要性

30 研究の目的 AMPにおける自動処理・統制処理を分離するためのモデルを提案し，その妥当性を検討する

31 モデルの提案 “好き”“嫌い”の判断には信号検出モデルを仮定 一定の確率（R）で被験者がプライムの影響に気づき反応を修正する
反応の修正量をBとする Negative prime条件をベースラインとする 閾値 (c) positive prime 閾値の修正量 (B) no prime negative prime d’2 d’1 嫌い 好き

32 モデル式 プライムの影響に気づいた場合 閾値の修正 （向きが逆） プライムの影響に気づかない場合
ネガティブプライムへの反応をbaselineとしたときの，それぞれのd’（潜在態度） no prime 条件では意図的な修正はなし

33 問題点と確信度評定による解決 パラメータ推定 R, B, c, d’1, d’2の 5 つ 方程式（データ）は３つ 解が求まらない！
ターゲット判断に確信度評定を用いる （５件法）ことで，方程式（自由度）が増え，解が求まる ※ モデルとデータから得られる予測値の二乗誤差が最小になるように準Newton法でパラメータを推定

34 確信度評定による自由度の増大 “1” “2” “3” C1 C2 Target Distractor 嫌い 好き 増加するパラメータ：c2
３件法の場合 “1” “2” “3” C1 C2 Target Distractor 嫌い 好き 増加するパラメータ：c2 自由度増大！ 増えた方程式：p (<c2|target), p (<c2|distractor)

35 先行研究 確信度評定によってモデルの自由度を増大させるアイディア自体は他の研究にも内在 社会認知研究では応用がない → 本研究
信号検出モデル（自由度０）における正規性の前提の検証 (Green & Swets, 1966) Andrew Yonelinas による二重過程信号検出モデル (for a review, Yonelinas & Parks, 2007, PB) 社会認知研究では応用がない → 本研究 他のモデル・論争にも適用可能？ 回想-熟知性の独立性に関する論争 (e.g., Joordens & Merikle, 1993)

36 実験１ 目的：提案した手続きを適用し，意味のある解が得られるかを検討する 被験者：北米の大学生26名
プライム刺激：ポジティブ写真，ネガティブ写真３２枚ずつ (IAPSより, 覚醒を統制） ターゲット刺激：中国語刺激

37 75ms

38 125ms

39 100ms

40 Like-dislike judgment

41 Confidence judgment

42 1000ms

43 75ms

44 125ms

45 100ms

46 Like-dislike judgment

47 Confidence judgment

48 実験１：結果 ターゲットの ポジティブ度 判断の平均値 プライムの主効果が有意（先行研究の再現）

49 No prime/negative prime
ROC曲線と推定値 Positive prime/negative prime No prime/negative prime R = 0.10 B = 1.51 d’1= 0.84 d’2= 0.37

50 実験２ 目的：AMPを２回繰り返すことで，プライムへの気づきが増大するかを検討する 被験者：北米の大学生54名
ターゲット呈示後，すぐにポジティブ度判断（６件法） １週間後に２回目のAMP実験をする

51 実験２：結果 ２回目のポジティブ度判断 ターゲットの ポジティブ度 判断の平均値 実験１の結果を再現

52 ROC曲線と推定値 Positive prime/negative prime (Time 2) No prime/negative prime (Time 2) R = 0.08 B = 1.57 d’1= 0.77 d’2= 0.35 R = 0.20 B = 1.51 d’1= 1.11 d’2= 0.52 Time 1 Time 2

53 実験３ 目的：明示的に統制処理を高める教示を行うことで，Rの推定値が上昇するかを検討する 被験者：北米の大学生14名
試行開始前に「ポジティブ度判断が写真によって影響を受けないように」と強く教示 Please try your absolute best not to let the real-life images bias your judgment of the drawings!

54 実験３：結果 ターゲットの ポジティブ度 判断の平均値 教示の効果が見られた ⇒ 潜在的態度の変容？

55 ROC曲線と推定値 Positive prime/negative prime No prime/negative prime R = 0.66 B = 0.74 d’1= 0.90 d’2= 0.44 ポジティブ度評定に群間差がないのは，潜在的態度 (d’) が変化したのではなく，Rの上昇によるもの

56 まとめ 確信度評定は，方法論上のさまざまな落とし穴がある。 しかし，うまく使えば，通常の方法論では解決できない問題を解決する鍵になる．

57 ご静聴ありがとうございました 資料請求・質問などは以下へ 村山 航

58

59

60 他モデルとの比較 他モデルとの比較 Payne et al. (personal communication)：AMPに過程分離手続きを適用するモデルを開発中 情報をフルに使っていない（no prime条件の結果を使わず） R の過程が生じたときに被験者が何をしているかがわかりにくい 条件数が増える（inclusion, exclusion, and baseline conditions)

61 今後の展望 動物における確信度測定方法の整備 確信度のモデル化の方法
確信度という概念の系統発生的な起源 脳における認知プロセスの解明に寄与 確信度のモデル化の方法 これまでは基本的にパラメータそのもの ベイズモデルのパラメータ分散という視点 (Daw et al., 2006, Nature) １．確信度そのものをエンコードする部位の発見 (e.g., Kepecs et al., in press, Nature)

62 確信度と２値反応（正誤）の関係指標 Point-biserial correlationの問題：実際の正誤をそのまま０-１の値として扱ってしまう γ係数は他のメタ記憶研究であるFOK研究ではよく見るが，なぜか目撃証言研究ではそれほどみない．

63 Point-biserial correlation could be as small as 0.30 (!)
完璧に予測できているように見えても… ここが誤差に この図は，一見すると完璧に見えるが，point-biserial correlationだと0.30（もしくはそれ以下）になることもありえる．被験者が「３割正答する」といって本当に３割正答したとしても，実際は「１」と「０」からデータは成立しているので，個々の観測値と「３割」の点にはズレが生じてしまい，相関を下げてしまうから． Point-biserial correlation could be as small as 0.30 (!)

64 確信度と２値反応（正誤）の関係指標 Point-biserial correlationの問題：実際の正誤をそのまま０-１の値として扱ってしまう こうした問題を回避した指標 Calibration: 確信度と実際の正答「率」のズレの平均． Calibration は，相関係数のように相対的な共変動ではなく，値の絶対的なズレで定義されている点が，相関指標と大きく違うと一般的にはよく言われている．しかし，今回の文脈ではそれは重要ではない．Calibrationは，確信度と個々の観測変数とのズレではなく，それぞれの区間ごとの正答「率」と確信度とのズレを調べているため，誤差が蓄積しない．先ほどの例では，perfect calibrationになる．

65 Calibration could involve less errors
完全に予測できた場合の直線（仮想） ここだけが誤差に 実際の正答「率」 Calibration could involve less errors

66 確信度と２値反応（正誤）の関係指標 Point-biserial correlationの問題：実際の正誤をそのまま０-１の値として扱ってしまう こうした問題を回避した指標 Calibration: 確信度と実際の正答「率」のズレの平均． biserial-correlation: ２値反応の背後に正規分布を仮定．

67 Biserial correlation has less errors
閾値 Biserial correlation has less errors

68 確信度と２値反応（正誤）の関係指標 Point-biserial correlationの問題：実際の正誤をそのまま０-１の値として扱ってしまう こうした問題を回避した指標 Calibration: 確信度と実際の正答「率」のズレの平均． biserial-correlation: ２値反応の背後に正規分布を仮定． γ係数 (Kruskal, 1958)：順位をもとにした相関 (Nelson, 1984)． γ係数は他のメタ記憶研究であるFOK研究では (Nelsonが薦めているだけあって）よく見るが，なぜか目撃証言研究ではそれほどみない． Olsson (2000) のメタ分析： Calibration 指標を使うと，確信度を使うことで目撃証言の精度は上がっている 精度をあげたいならそれに見合った指標を使う必要性