中枢パターン生成機構が中枢神経系に存在し多くのリズム運動を作り出している。リミットサイクル振動子は外界からの周期的音響入力に同調する。 ドラミング、共演 琴坂信哉 中枢パターン生成機構が中枢神経系に存在し多くのリズム運動を作り出している。リミットサイクル振動子は外界からの周期的音響入力に同調する。 http://www.erato.atr.co.jp/DB/

ボールと腕の運動が規定する物理学的ダイナミクスが安定なリミットサイクル解を持つことを利用してパドリングを行った。 Stefan Schaal ボールと腕の運動が規定する物理学的ダイナミクスが安定なリミットサイクル解を持つことを利用してパドリングを行った。 http://www.erato.atr.co.jp/DB/

日本の脳研究 脳を守る 脳を知る 脳を創る

ビデオカメラによる運動認知 ˇ Ales Ude ビデオに基づく人の動きの取り込み：ヒトの運動データをヒューマノイドロボットの動きに変換するためのキネマティックモデルを自動生成する。遮蔽がある場合にも2次元画面内で実時間で確率的にブロッブを追跡するアルゴリズムも示す。 http://www.isd.atr.co.jp/cyh/index.html

センスーツを用いて、ヒトの関節の動き46自由度を同時に計測できる。これをDBの動きに変換するのは簡単な問題ではない。 センスーツTMデモ（ロックンロール） Stefan Schaal センスーツを用いて、ヒトの関節の動き46自由度を同時に計測できる。これをDBの動きに変換するのは簡単な問題ではない。 http://www.erato.atr.co.jp/DB/

キャッチボール Marcia Riley ボールの自由落下軌道を視覚に基づいて予測する。 腕の軌道は予測した把持位置まで前向きに計画され、制御される。 http://www.erato.atr.co.jp/DB/

脳を創ることによって知る ロボットやコンピュータは人にくらべてずっと劣る 本当には脳が分かっていない 創ってみて初めて働きが分かる 脳だけを創っても不十分で、ヒトを創ってみる アトム計画

計算論的神経科学 脳の機能を 理解する 脳の機能を、その機能を脳と同じ 方法で実現できる計算機のプログ 脳の機能を　　　　 　　　　　　　　　　　　　　　　　　　　　　　　　　理解する 脳の機能を、その機能を脳と同じ 方法で実現できる計算機のプログ ラムあるいは人工的な機械を作れる程度に、深く本質的に理解する ことを目指すアプローチを計算論 的神経科学と呼ぶ。 脳の機能を　　　　　　　　　　 　　　　　　　　計算機のプログ ラムあるいは人工的な機械で実現する　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 脳の機能を、その機能を脳と同じ 方法で実現できる計算機のプログ ラムあるいは人工的な機械を作れる程度に、深く本質的に理解する ことを目指すアプローチを計算論 的神経科学と呼ぶ。 人工知能・ロボティクス 神経科学

ヒューマノイドＤＢ (Dynamic Brain) 30 自由度 身長190 cm 体重80 kg 柔らかい 生物に学んだ眼球運動・視覚系 SRCとKDBの共同開発 We have been working on interdisciplinary research issues of humans and humanoids. This shows our humanoid, and was developed to mimick humans and face similar problems as possible as we can. Salient features of this robot is all joints are hydraulically-operated and compliant, and its oculomotor system is also biomimetic. (Movie 11s.) (total 25 s)

運動軌道計画と軌道予測・力制御に基づいてヒトとロボットの物理的相互作用を行った。 スティッキーハンド Joshua Hale 運動軌道計画と軌道予測・力制御に基づいてヒトとロボットの物理的相互作用を行った。 http://www.isd.atr.co.jp/cyh/index.html

ジャグリング Christopher Atkeson Chris Atkesonは上手なジャグラーです。 彼の3つ玉ジャグリングをDBにまねさせました。 http://www.isd.atr.co.jp/cyh/index.html

生物に学んだ眼球運動・視覚系 それぞれの眼球に２自由度 人工前庭器官：ジャイロセンサー 中心かと周辺視は２台のカメラ And today’s issue is on the biomimetic oculomotor system. It has 2 DOFs for eye. The head carries gyro-sensors to mimick semicircular-canal. Each eye consits of 2 cameras, one is for foveal vision, and the other is for peripheral vision using lenses having different view angles. Now it’s showing the difference in blurring between foveal vision and peripheral vision during I’m perturbing it. You may be suffering from motion sickness by the foveal image Due to the narrow foveal vision, oculomotor control should be very accurate if you would like to inspect a target on the fovea. (movie 30s) (total 45 s)

神経科学とロボティックス 小脳内部モデルの教師あり学習 大脳皮質確率的内部モデルの教師なし学習 大脳基底核の強化学習 視覚運動変換、棒立て、見まね学習 眼球運動の学習、視覚追跡ターゲットの内部モデル エアホッケーの見まね学習、起きあがりロボットの強化学習

沖縄舞踊（カチャーシ） Marcia Riley, Ales Ude, Christopher Atkeson, Stefan Schaal ˇ オプトトラックで踊り手の動きを計測し、それに基づいてB-スプライン ウェイブレットでヒューマノイドロボットの関節の軌道を計画した。 http://www.isd.atr.co.jp/cyh/index.html

見まねによるテニス Stefan Schaal http://www.his.atr.co.jp/cyh/

古い考え方と新しい考え方 大脳がヒトの知性の源 小脳は運動の制御だけ 言葉がヒトの知性の特徴 小脳と大脳はすべての機能に関わる 小脳と大脳の違いは学習の方法の違い（先生有りと無し） 言葉に頼らないコミュニケーションがヒト知性の秘密

小脳と大脳 外側面 内側面 小脳 大脳 重 さ 130g 1対10 1,300g 表面積 50,000mm2 1対2 80,000mm2 小脳 　　大脳 重　さ 　　　　　130g 　　1対10　　1,300g 表面積　 　　　50,000mm2　 1対2　80,000mm2 ニューロン数　 　1011 　　　> 1011 霊長類から 2.8 　　　〜 　　　 3.2 の拡大率 底面

小脳とヒト知性 ◎小脳部位の系統発生 ◎小脳のサイズと知能 小脳皮質 歯状核 背内側部 歯状核 腹外側部 大脳皮質左側頭葉は無相関 内側核0.8倍、歯状核4.5倍（キツネザル類比） 小脳皮質 　　　　　　　　歯状核 体重　　 体積　 幅・高さ 長さ 65kg　1,167mm3　 同じ　　 2倍 45kg　 456mm3　 同じ　　 半分 歯状核 背内側部 ヒト 歯状核 腹外側部 チンパ ンジー ◎小脳のサイズと知能 Paradiso (1997) 指タッピング r=0.22 p<0.05 言語記憶　 r=0.27 p<0.02 一般的IQ　　　 r=0.19 p<0.07 (WAIS-R) 大脳皮質左側頭葉は無相関

小脳の高次認知機能への関与 I. 脳活動計測 II. 損傷脳 III. 解剖 (1) 運動の想像　　　　 SPECT Ryding et al. (1993) (2) 名詞からの動詞の連想 PET Raichle et al. (1994) (3) ペグボードパズル fMRI Kim et al. (1994) (4) 複数の形の視覚識別 PET Parsons et al. (1995) (5) 心的回転 PET Parsons et al. (1995) (6) 皮膚感覚による物体認識　 fMRI Gao et al. (Bower) (1996) (7) 視覚的注意 fMRI Allen et al. (1997) II. 損傷脳 (1) ハノイの塔 小脳皮質変性症 Grafman et al. (Hallet M.) (1992) (2) 視覚運動認知 小脳皮質変性症 Nawrot & Rizzo (1995) (3) 自閉症患者 小脳サイズ Courchesne et al. (1995) III. 解剖 (1) 46野 HSVI Middleton & Strick (1994) (2) IQ 小脳サイズ Paradiso et al. (1997)

大脳小脳連関 小脳 橋核 大脳皮質 大脳皮質 小脳皮質 小脳核 橋核 視床 大脳皮質 歯状核背側 視床 VPLo 1次運動野 歯状核外側 X 中位核 歯状核 内側 背側 46野 9野外側部 歯状核背側 視床 VPLo 1次運動野 歯状核外側 X 腹側運動前野 歯状核腹側 MD／VL 前頭前野 大脳皮質 大脳皮質

小脳各部への主要な入力と出力 機能部位 解剖学的 主入力 出力核 出力最終目標 機能 部位 機能部位 解剖学的　 主入力 出力核 出力最終目標 　　機能 　部位 前庭小脳 　片葉 前庭器官 前庭核 動眼運動 前庭動眼反射 ニューロン 脊髄小脳 　虫部 脊髄 室頂核 脳幹 体幹運動制御 視聴覚 運動野 前庭 脊髄小脳 　中間部 脊髄 中位核 大細胞性赤核 末梢部運動制御 運動野 大脳小脳 　外側部 大脳 歯状核 小細胞性赤核 運動開始 運動野 計画 運動前野 タイミング

小脳皮質の神経回路・可塑性・理論 Marr-Albus-Ito理論 (〜1970) ・登上線維が教師（誤差信号） ・平行線維-プルキンエ細胞の 　シナプス効率が可塑性により変化 星状細胞 平行線維 バスケット 細胞 プルキンエ 細胞 苔状線維 平行線維 ゴルジ 細胞 プルキンエ細胞 プルキンエ 細胞 登上線維 顆粒細胞 グロメルルス 顆粒細胞 下オリーブ核 ニューロン 登上線維 長期抑圧・長期増強・RP (1982〜) 小脳内部モデル理論 (1984〜) ・小脳皮質は内部モデルを獲得 ・登上線維は運動指令誤差 プルキンエ 細胞軸策 苔状線維

A フィードバック制御 B 逆モデルによる前向き制御 制御対象 時間遅れ 剛性、粘性 運動指令 目標軌道 実現された軌道 ゲイン

PFMによるヒト腕剛性の測定

A フィードバック制御 B 逆モデルによる前向き制御 制御対象 時間遅れ 剛性、粘性 運動指令 目標軌道 実現された軌道 ゲイン

A C B 逆ダイナミクスモデル 順ダイナミクスモデル

計算論的神経回路モデルの学習で視覚運動変換を実現した。 視覚ー運動学習 Stefan Schaal 計算論的神経回路モデルの学習で視覚運動変換を実現した。 http://www.erato.atr.co.jp/DB/

見まねによる棒立て：道具の内部モデル Stefan Schaal http://www.erato.atr.co.jp/DB/

小脳フィードバック誤差学習 (1) 単純スパイクはフィードフォワード運動指令を表わす (2) 平行線維入力は目標軌道を表わす (3) 小脳皮質は逆モデルを構成する (4) 複雑スパイクは運動指令の空間での誤差を表わす 小脳皮質 単純スパイク 複雑スパイク 苔状線維 顆粒細胞 プルキンエ細胞 平行線維 登上線維 フィード フォワード 運動指令 逆モデル 運動指令 誤差 フィード フォワード

運動指令に関しての教師あり学習との比較 フィードバック誤差学習則 教師あり学習 (1) 運動指令の教師信号が と与えられていて、２乗誤差 運動指令の教師信号が と与えられていて、２乗誤差 を の最急降下方向に 減少させる（Widrow-Hoff 則） (2) が　 　　を近似している。つまり、フィードバック 運動指令が、逆モデルを学習するための運動指令の誤差信号と して働いている と　　　が同じ座標系で表現されている ２つの信号の時間経過はある程度似ている

フィードバック誤差学習としてみたLTD, LTP プルキンエ細胞の入出力モデル プルキンエ細胞の出力　は　本の平行線維入力　 のシナプス荷重　 による線形和 (1) LTDとLTPのモデル (2) フィードバック誤差学習による解釈 登上線維の発火頻度の自発放電からの　　　　 がフィードバック制御器 の運動指令に対応 (3)

複雑スパイクと単純スパイクの 近似的鏡像の相関 予測 フィードバック（学習後） : 鏡像 フィードバック（学習前） : 相関なし フィードバック（学習後） : 鏡像 フィードバック（学習前） : 相関なし フィードフォワード（時間遅れ、学習後） : 複雑スパイク 運動開始時 フィードフォワード（時間遅れなし、学習後） : 複雑スパイク 消失

追従眼球運動の神経生理学的研究 （電総研 河野、設楽、竹村、小林らによる実験） 背外側橋核 MST野 広い視野の動きにつられて （電総研 河野、設楽、竹村、小林らによる実験） 背外側橋核 MST野 広い視野の動きにつられて 眼球が動く反射運動 小脳VPFL

追従眼球運動と単純・複雑スパイク 眼球運動速度 50度／秒 下方向80度／秒 上方向80度／秒 複雑スパイク 単純スパイク 時間（ミリ秒）

同じ条件（１つのP-cell, 一定の視覚刺激速度） のデータをアンサンブル平均した結果 stim. vel. [deg/sec] -20 視覚刺激速度 -40 0.30 VPFL発火頻度 [spike/msec] 0.20 0.10 0.00 2 眼球加速度 eye acc. [deg/sec ] -2500 眼球速度 eye vel. [deg/sec] -20 -40 眼球位置 eye pos.[deg] -4 200 250 300 350 400 450 time [msec]

プルキンエ細胞発火頻度の逆ダイナミクスモデル 5種類の刺激速度、6種類の刺激時間のデータから1組の係数を推定 Coeff.det 0.78

+ - 複 雑 ス パ イ ク 単 純 運 動 指 令 誤 差 Ｍ Ｔ Ｓ 登 上 線 維 小 脳 皮 質 顆 粒 細 胞 プ ル キ ン VPFLプルキンエ細胞 MST 野 背外側橋核 垂直細胞 水平細胞 100 200 0.05 0.1 50 0.01 5 複 雑 ス パ イ ク 時間 (ミリ秒) 単 純 発 火 確 率 数 ／ 秒 頻 度 C D I U C D I U U U C I C I D D - + 運 動 指 令 誤 差 Ｍ Ｔ Ｓ Ｐ Ｎ Ｏ 登 上 線 維 小 脳 皮 質 顆 粒 細 胞 プ ル キ ン エ 苔 状 平 行 下 オ リ ー ブ 核 幹 外 眼 筋 ニ ュ ロ 球 副 視 索 系 網 膜 覚 刺 激 大 側 頭 溝 壁 領 野 膝 体 橋

A C B 単純スパイク 発火確率 発火頻度 複雑スパイク スパイク数 秒 時間（ミリ秒） 0.1 50 0.05 0 100 200 発火確率 0　　　　100　　　200 発火頻度 複雑スパイク 0.01 5 MST野 背外側橋核 垂直細胞 水平細胞 スパイク数　秒 VPFLプルキンエ細胞 B 小脳皮質 顆粒 細胞 プルキンエ 細胞 0　　　　100　　　200 時間（ミリ秒） 苔状線維 大脳皮質 MT MST 上側頭溝壁 橋核 視覚領野 外側膝状体 平行線維 登上線維 運動指令誤差 視覚 刺激 副視索系 下オリーブ核 脳幹 外眼筋運動 ニューロン 網膜 眼球運動 PT NOT

大脳皮質高次視覚野MST 小脳皮質 脳幹を介する経路 平行線維 プルキンエ細胞 登上線維 平行線維 プルキンエ細胞 登上線維 視覚 刺激 網膜像 の動き 単純スパイク 登上線維の発火（複雑スパイク） 一般化線形 モデル 眼球運動 2次 フィルター 16000 脳幹を介する経路 平行線維 プルキンエ細胞 登上線維 平行線維 プルキンエ細胞 登上線維

大脳皮質 　 小脳皮質 ポピュレーション符号化 発火率符号化 確率的内部モデル 決定論的内部モデル 皮質ダイナミクス 入出力変換 確率分布 確率分布のモーメント 多重ピーク 競合するモジュール 教師なし学習 教師あり学習

眼球運動のプリミティブ サッカード 前庭動眼反射 (VOR) 円滑性追跡眼球運動 追従眼球運動 (OFR)

円滑性追跡眼球運動

５ヶ月の乳児では 円滑性追跡眼球運動はない 協力：本田佳野乃、大須理英子

５ヶ月の乳児では 追従眼球運動もない 協力：本田佳野乃、大須理英子

大脳皮質内部モデルと 小脳内部モデルの違い 眼球運動に関する小脳内部モデル 前庭動眼反射適応の論争 大脳皮質の内部モデル：確率分布の時間ダイナミクス 分散非線形カルマンフィルターとしての大脳小脳連関

小脳内部モデルが大脳ポピュレーション符号を解読する フィードバック誤差学習によって、小脳がポピュレーション符号から発火率符号への復号器を学習で獲得する この復号器においてニューロンの最適刺激方向、速度選択性、発火頻度時間波形の特性が変換される 復号器の特性は制御対象の特性に応じて適応的に決まる

円滑性追跡眼球運動の視標消滅 眼球速度 視標消滅 眼球位置 視標位置 眼球運動 眼球位置 視標位置

円滑性追跡眼球運動の視標消滅 VS 追従眼球運動視覚刺激消滅 追従眼球運動 視覚刺激消滅 円滑性追跡眼球運動 追従眼球運動 MST野, 背外側橋核, 小脳皮質腹側傍片葉 随意 反射 小さな指標 大きな刺激 視標消滅: MST野と眼球運動 500ms間維持 視覚刺激消滅: MST野と眼球運動 速やかに消滅

MT野: 円滑性追跡眼球運動の 視標消滅 MSTd:円滑性追跡眼球運動の 視標消滅 背外側橋核: 追従眼球運動の 視覚刺激消滅 　　　視標消滅 MSTd:円滑性追跡眼球運動の 　　　視標消滅 Newsome et al., (1988) 背外側橋核: 追従眼球運動の 　　　　　 視覚刺激消滅 MST野: 円滑性追跡眼球運動の 　　　 視標消滅、潜時 Kawano et al., (1994) Kawano et al., (1992)

ＶＯＲ適応の座に関する小脳論争は 円滑性追跡眼球運動維持の場所で決まる 前庭動眼反射適応は主に小脳皮質のプルキンエ細胞のLTDによるものか？ Yes:片葉仮説（伊藤） No: 視線速度理論 (Miles & Lisberger); 　　 脳幹が中心 (Lisberger & Sejnowski) 『否』仮説では　脳幹ー小脳皮質のゲイン１のポジティブフィードバック回路が円滑性追跡眼球運動維持 『是』仮説では　MST野で視標予測

FL 登上線維 前庭入力 VN 眼球運動 FL VPFL 前庭入力 VN 眼球運動 視覚入力 MST FL VPFL 登上線維 前庭入力 VN 眼球運動

円滑性追跡眼球運動と追従眼球運動の制御モデル カルマンフィルターモデル Kt Ft Ht It + - 軌道入力 カルマンゲイン 遷移確率 推定確率 生成行列 Pt (r, V) ˆ 軌道入力 予測誤差 中心窩外 中心窩 + e f 小脳内部モデル による変換 プルキンエ細胞 眼球運動 シナプス荷重 網膜の滑り - 50ms 脳幹 視標の動き MST 小脳皮質 ポピュレーション符号 とMST神経場 カルマンゲイン 内部モデル 運動指令生成 推定入力

サッカード Sethu Vijayakumar http://www.erato.atr.co.jp/DB/

神経生理学、解剖学の知識に基づいて前庭動眼反射の神経回路モデルをDBに組み込んだ。 前庭動眼反射適応 柴田智広 １．VOR 学習 研究内容自体は特に変わっておりません．ジョイントの stiction の改善を行なった後のビデオですので，前より見栄えがします． ＜内容＞ １．カチャーシー＋首の上下運動をしている際中にVOR学習をしていることを示す外部からの映像 ２．周辺視における視覚処理を示す映像（retinal error と retinal slip を，それぞれテンプレート追跡器とオプティカルフロー算出によって行なっている）． ３．VOR学習中の４つのカメラの出力．学習前と学習後の間はカットしてあり，少し分かりにくいです． ４．retinal error 算出のための追跡器を３個に増やし，しかも 画面中央ではなく，画面周辺に配置しています．これにより，人間が画像中央でダンスを教えても大丈夫，といったストーリーの映像です． 神経生理学、解剖学の知識に基づいて前庭動眼反射の神経回路モデルをDBに組み込んだ。 http://www.erato.atr.co.jp/DB/

円滑性追跡眼球運動 柴田智広 ２．Smooth Pursuit 学習 学習方法は先日トークで説明したものです． １．振子の追跡．学習は左目に関して行なっており，右目ではフィードバック制御が行なわれています． １．１ 振子を追跡している際の外部からの映像． １．２ 振子を追跡している際の４つのカメラの出力． （技術的な補足）画像処理には QuickMag を使用しました． ２．人間の顔の追跡．学習は左目に関して行なっており，右目ではフィードバック制御が行なわれています． ２．１ 顔を追跡している際の外部からの映像． ２．２ 顔を追跡している際の４つのカメラの出力． 学習前と学習後の間はカットしてあり，少し分かりにくいです． ２．３ 顔を追跡している際の PC での Ude さんの追跡器の処理の様子を示す映像． 円滑性追跡眼球運動をゲイン１で行うためには視覚入力速度が0の時にも視標の動きを身体座標で予測する必要がある。クイックマグと確率的トラッキングを用いてこれを実現した。 http://www.erato.atr.co.jp/DB/

眼球運動プリミティブの統合 柴田智広

ヒト強化学習は大脳基底核で行われている 新しいマルコフ遷移確率強化学習課題 学習と報酬に関する情報理論的変数 尾状核（比較的前方部）が本質 春野、黒田、銅谷、外山、木村、鮫島、今水、川人

「強化学習」 reinforcement learning 「報酬」を最大化するような行動を，探索により学習 環境に応じて異なる最適行動を獲得 目標出力がわからない問題に適用可 人間や動物の行動学習のモデル 応用例 ゲームプログラム：バックギャモン，オセロ，．． ロボット制御：移動ロボット，サッカー，．．． 動的資源配分：携帯電話チャネル割り当て，．．

Basal Ganglia Frontal section Side view

Reward Prediction by Dopamine Neurons (Schultz et al. 1993) unexpected reward reward predicting stimuli lack of reward

行動プリミティブの記述に基づいて対戦型ゲームのヒトのやり方を観察して学習する。 エアホッケー Darrin Bentivegna Description: This video has two parts related to playing air hockey with a humanoid robot, DB. The first half show a person playing air hockey against the robot. In this video the robot is programmed with a playing strategy. It is the goal for the robot to learn a strategy from observing a human player. The second half shows the vision system used by DB to compute the position of the puck on the table. 行動プリミティブの記述に基づいて対戦型ゲームのヒトのやり方を観察して学習する。 http://www.his.atr.co.jp/cyh/