道具的学習の連合理論 習慣形成とその異常の機序解明に向けて 井口 善生 (IGUCHI Yoshio, PhD) 日本認知・行動療法学会 第42回大会 「連合学習理論の展開と臨床との接点」 道具的学習の連合理論 習慣形成とその異常の機序解明に向けて 福島県立医科大学・生体機能研究部門 井口　善生 (IGUCHI Yoshio, PhD)

名古屋大学文学部/ 環境学研究科心理学講座 自己紹介 文系 理系 名古屋大学文学部/ 環境学研究科心理学講座 医学系 金沢大学 人文学類心理学講座 金沢大学 医薬保健研究域 脳情報病態学 (神経科精神科) 金沢工業大学 感動デザイン工学研究所 ~’06 福島県立医科大学 生体機能研究部門 (Molecular Genetics) ’07~’08 ’09 ・道具的弁別学習の連合構造(ラット) ・味覚嫌悪学習の文脈制御(ラット) ・パブロビアン-オペラント相互作用(ラット) ・サカナの空間学習(キンギョ・コイ) ’10~’14 ’15~ うつ病と薬物依存に関する 動物モデル研究(ラット) ・オペラント条件づけを支える 神経回路の解明(ラット・マウス) ・神経細胞操作技術の開発 1

研究の相棒 Long-Evans rats Cartoon

道具的学習 (instrumental learning) とは・・・ 音刺激　 🎶 音刺激なし 食物 食物なし パブロフ型条件づけ 食物(報酬) 音刺激　 🎶 レバー押し 道具的学習 音刺激なし 報酬なし 道具的学習とパブロフ型条件づけの違い：基本的な手続きは似ているように見えるが，道具的学習では動物が道具的行動を自発しないと，食物のような結果が得られない。パブロフ型条件づけにおいても動物は条件反応という行動を獲得するが，これは食物を得るために必須なものではない 学習の証拠=条件反応の獲得 例) 刺激提示中の唾液分泌 条件刺激への接近 etc… 学習の証拠=道具的行動の獲得 例) 刺激提示中のレバー押し増加 2

本トークの概要 ① 道具的学習ではどのような連合が形成されるのだろうか? ② 習慣形成(habit formation)について ・心理学(動物心理学)における研究史 ・連合理論の最先端 ③ 精神疾患と習慣形成の異常 ・どこまでわかったか，どのように考えられているのか？ ・神経科学における研究 3

？ 道具的学習の”要素” Ｓ Ｒ Ｏ 三項強化随伴性 弁別刺激 反応 結果 Stimulus Response Ｏｕｔｃｏｍｅ Skinner, B. F. (1904-1990) 弁別刺激 反応 結果 Stimulus Response Ｏｕｔｃｏｍｅ 刺激性制御 強化スケジュール 弁別刺激　 🎶 反応 結果 Ｓ Ｒ Ｏ ？ 連合に参加する候補としては，スキナーが定義した三項随伴性の要素である，刺激・反応・結果，がありうる。 4

S-R理論 Ｓ Ｒ Ｏ ・行動主義の中核的理論 ・道具的学習は刺激(S)と反応(R)の間の連合の形成プロセス 弁別刺激　 🎶 Ｏ 反応 結果 ・行動主義の中核的理論 S-R理論においては，Oを含む可能性がある連合(S-O/R-O)は考慮されない。OはＳとＲの間の連合を強める触媒であり，動物はOの性質(味や見た目や誘因価値)を学習したり記憶したりすることはない ・道具的学習は刺激(S)と反応(R)の間の連合の形成プロセス ・行動の結果(O)はS-R連合を強める触媒であり，動物はOの性質や価値 について学習・記憶することはない 5

S-R理論への挑戦 ① 🎶 ♫ Ｓ Ｒ Ｏ 分化結果効果 S1 S2 Trapold & Overmier, 1972 Left Right Common outcome condition　 Differential outcome condition　 Ｓ Ｒ Ｏ ① ② 複数の選択肢がある弁別課題において，選択肢に随伴する結果が質的に異なるとき，弁別学習は速やか。これは動物がOの性質についても学習し，この学習を用いて弁別学習をブーストしていることを示唆する。 6

？ S-R理論への挑戦 ② Ｓ Ｒ Ｏ 結果の価値低下効果 S-R理論の予測 実際の実験結果 Left　 Right　 訓練　 結果(報酬)の価値低下 devaluation　 Left　 Right　 選択テスト　 ？　 S-R理論の予測　 レバー押し数　 Ｓ Ｒ Ｏ 道具的訓練の後に，結果の誘因価値を操作するとなにがおこるだろうか？S-R理論は，Oの感性情報と誘因価値についてなにも学習しないと考えるので，レバー押しは影響されないと予想する。実際の実験結果は，誘因価値が低下した結果をもつ選択肢を動物は選択しなくなる。これは，動物が反応Rとその結果Oの間の連合を学習することを示唆する。 実際の実験結果　 レバー押し数　 結果の価値低下効果 Colwill & Rescorla, 1988　 7

ここまでのまとめ Ｓ Ｒ Ｏ ① 道具的学習ではどのような連合が形成されるのだろうか? S-R理論 弁別刺激　 🎶 Ｓ 分化結果効果 Ｒ Ｏ 反応 結果の価値 低下効果 結果 S-R絵の，役割はゼロではないが，行動主義が考えていたように排他的なものではない。S-OやR-Oといった連合も学習され，行動表出において役割を果たしていると考えられる。 ・S-R連合だけでなく，S-OやR-O連合が形成される ・動物は結果の知覚的特徴や誘因価値についても学習する ・このような学習が，道具的行動の表出に貢献する 8

今後の課題 Ｓ Ｒ Ｏ 本質的な問題は未回答のまま残されている・・・ パブロフ型条件づけのCS-US連合との異同 知識を行為に変換する機序 弁別刺激　 🎶 Ｓ パブロフ型条件づけのCS-US連合との異同 Ｒ Ｏ 反応 知識を行為に変換する機序 結果 R-O連合の形成 ＝ 行為の知識の獲得 他の連合をみとめないS-R理論に問題があることは明らかである。しかし，S-OやR-Oにも解決すべき問題がある。とくにここではR-Oの問題について述べる。R-O連合が形成される，ということはたとえば，自販機で特定のボタンを押すとコーラが得られる，という知識を得ることと同意義である。しかし，このような知識をもったとしても，運動したあとの健康な人ならばコーラを欲してボタンを押すだろうが，ダイエット中の人ならば押さないだろう。つまり，同じ知識は行動をすることの原因にもなるし，行動しないことの原因にもなる。知識が行動を作り出すための機序について検討が必要である。 例) ボタンを押す コーラが出てくる 押す 押さない 9

S-R連合は葬り去られたのか？  道具的学習におけるS-R連合の役割は見直されつつある 抑圧からの解放 ＝ 新行動主義(S-O連合)＆認知理論(R-O連合) ラスボス ＝ S-R理論 ＝ 倒すべき相手？  道具的学習におけるS-R連合の役割は見直されつつある ② 習慣形成(habit formation)について ・連合理論の最先端 ・神経科学における研究 10

？ 訓練量と結果の価値低下効果 訓練量を変化させる ●実際の実験結果 ●S-R理論の予測 訓練量【少】 訓練量【多】 Left　 Right　 選択テスト　 ？　 訓練　 結果(報酬)の価値低下 devaluation　 訓練量を変化させる　 ●実際の実験結果　 レバー押し数　 devalued　 Yin & Knowlton, 2006　 レバー押し数　 devalued　 レバー押し数　 ●S-R理論の予測　 devalued　 訓練量【少】 訓練量【多】　 結果の 11

訓練量と結果の価値低下効果 少　 訓練量　 多　 行動を制御する連合 R-O連合 S-R連合 行動の名称 目標指向性行動 (goal-directed action) 習慣 (habit) 結果の予測と評価 あり なし (行動の自動化) 環境変化に対する臨機応変性 なし 行動戦略 R-O連合を地図のように利用するprospective 直前に強化された行動を繰り返す確率を上昇 させるretrospective 計算論的モデル Model-based Model-free 認知資源への負荷 高 低 (マルチタスク可) 道具的行動が練習を通じて目的指向性行動から習慣へと変化すること= 習慣形成 (habit formation)　 12

習慣形成の神経基盤 少 訓練量 多 R-O連合/目標指向性行動 S-R連合/習慣 無処置動物 目標指向性行動 習慣 無処置動物　 レバー押し数　 devalued　 訓練量　 多　 少　 R-O連合/目標指向性行動 目標指向性行動 習慣 線条体 内側部 (尾状核) 尾状核破壊動物 被殻破壊動物 レバー押し数　 devalued　 レバー押し数　 devalued　 習慣 目標指向性行動 線条体 外側部 (被殻) S-R連合/習慣 Yin & Knowlton, 2006　 13

習慣形成の神経基盤 訓練量の増加 線条体内の2領域間のバランスが重要 R-O連合/目標指向性行動 S-R連合/習慣 被殻 尾状核 訓練量の増加　 R-O連合/目標指向性行動 線条体 内側部 (尾状核) 線条体 外側部 (被殻) S-R連合/習慣 線条体内の2領域間のバランスが重要 14

習慣形成に影響する要因 ・道具的行動が習慣化しにくい条件 ・道具的行動が習慣化しやすい条件 精神疾患のリスクファクター ・道具的行動が習慣化しにくい条件　 ・道具的行動が習慣化しやすい条件　 覚せい剤 (rats)　 精神疾患のリスクファクター　 Nelson & Killcross, J Neurosci, 2006; Font Neurosci, 2013　 コカイン (rats)　 LaBalnc et al., Plos One, 2013; Corbit & Balleine, Neuropsychopharmacol, 2014 慢性ストレス (rats)　 Dias-Ferreira et al., Science, 2009 急性ストレス (human)　 Schwabe & Wolf, J Neurosci, 2009; Psychoneuroendocrinology, 2010 急性ストレス (rats)　 Braun & Hauber, Learn Mem, 2013 酸化ストレス (rats)　 Iguchi et al., Plos One, 2014 16

* 精神疾患における習慣優位性 w 行動を制御する連合 R-O連合 S-R連合 行動の名称 目標指向性行動 (goal-directed action) 習慣 (habit) 行動戦略 R-O連合を地図のように利用するprospective 直前に強化された行動を繰り返す確率を上昇 させるretrospective w goal-directed habit Binge eating disorder Obese OCD Methamphetamine-dependent Alcohol-dependent * Voon et al., 2015に基づき井口が再構成 93 96 66 90 30 22 32 31 17

習慣形成の個体差とストレス反応性 サブグループ分類 45.6% 16.5% 習慣形成しやすい個体はより高いストレス脆弱性を示す可能性 18 レバー押し数の低下率 [自由摂水/給水制限] サブグループ分類 45.6% 16.5% goal-directed habit II群 (Habit) 2日後 11日後 19日後 27日後 III群 (goal-directed) 累積レバー押し数 慢性ストレス負荷 (total 28日間) ・強制水泳(10～15分/日) ・身体拘束(30～60分/日) ・社会的敗北 18 習慣形成しやすい個体はより高いストレス脆弱性を示す可能性

習慣形成の異常と精神疾患 生理的な習慣形成 (リスクファクタ―・精神疾患なし) リスクファクタ―あり/ある種の精神疾患罹患者 習慣 目標指向性行動 (R-O連合)　 習慣 (S-R連合)　 生理的な習慣形成 (リスクファクタ―・精神疾患なし)　 学習エピソード/訓練　 試行錯誤を通じた 行動最適化が図られる 環境に最適化された 行動の迅速・精確な遂行 目標指向性行動 (R-O連合)　 習慣 (S-R連合)　 リスクファクタ―あり/ある種の精神疾患罹患者　 依存や強迫のような 異常な意思決定 (連合?)　 ①試行錯誤を通じた行動最適化 にかけられる時間の短縮　 ②無意味/悪いこととわかっていても止められない，長期的な視点の欠如(短絡)　 19

Take home message ① 道具的学習ではどのような連合が形成されるのだろうか? ② 道具的学習では習慣形成がおきる  S-RだけでなくS-OやR-O連合が形成され，道具的行動を制御する ③ 精神疾患においてしばしば習慣形成の異常がみとめられる  訓練量の増加に伴い目標指向性行動(R-O連合)から習慣(S-R)へシフト  このシフトには適応的な意義がある  精神疾患リスクファクターは習慣形成の異常な促進を起こす  複数の精神疾患が共有する意思決定の障害の背景に過剰な習慣化がありうる 20