相関を超えた情報処理の操作 小脳内部モデル 計算モデルに基づくシステム神経科学 システム神経科学は難しい 情報処理の理解と検証が難しい

Presentation on theme: "相関を超えた情報処理の操作 小脳内部モデル 計算モデルに基づくシステム神経科学 システム神経科学は難しい 情報処理の理解と検証が難しい"— Presentation transcript:

1 相関を超えた情報処理の操作 小脳内部モデル 計算モデルに基づくシステム神経科学 システム神経科学は難しい 情報処理の理解と検証が難しい
　小脳内部モデル 　計算モデルに基づくシステム神経科学 　システム神経科学は難しい 　情報処理の理解と検証が難しい 　時間相関が主だから 　回路、破壊は間接的 　情報表現、処理を直接操作する

2 脳とロボットのダイレクト通信 ブレイン・マシン・インタフェース
　脳とロボットのダイレクト通信 ブレイン・マシン・インタフェース 研究の必要性 研究の目標 誰でも頭で考えるだけで 直接コンピュータやロボットを 通信制御出来る革新的な ユーザーインターフェースの開発 高度複雑化するIT社会 ハードウェアの急速な進歩 使いにくい入力装置 キーボード（50年前） マウス（20年前） 広がる情報格差

3 ４つの背景技術 ヒト脳内情報表現の復号化： 視覚刺激の傾き、手の形、音韻 ブレイン・マシン・ インターフェース 復号化 サルBMI 近赤外光
インターフェース　 復号化 サルBMI 近赤外光 計測装置＋ 脳波計測 階層ベイズ 可搬型 NIRS 非侵襲脳活動 高精度推定法

4 ブレイン・マシン・インタフェースサルニューロン記録
脳に埋め込んだ電極から得られる 神経活動でカーソル追跡 腕を使ったカーソル追跡 遠隔地の多自由度ロボットの制御にも成功 Miguel Nicolelis　デューク大学

5 ヒトへの適用（米国） 侵襲的なため適用範囲が限定される 2003 FDA approval; 15 patients
acutely examined 2004 FDA approval; 5 patients chronically implanted 侵襲的なため適用範囲が限定される

6 脳に埋め込んだ多重電極による ブレイン・コンピュータ・インタフェース
2. 大脳皮質上に埋め込まれた電極で 　神経細胞の活動を計測 1. カーソルを左上に 動かすように念じる ブラウン大学ドナヒュー：首から下が麻痺した被験者（C4レベル脊損患者）に対して、世界で初めてBMIの慢性臨床試験を開始した。 J. Donoghue, NatureNeuroscience 2002; Human implant 2004

7 Prediction of Movements from Neural Firings NeuroEngineering, Neuro-prosthetics, Neuro-Robotics, Brain-Machine Interface, and Brain-Computer Interface Wessberg, ~ , Nicolelis: Real-time prediction of hand trajectory by ensembles of cortical neurons in primates. Nature (2000) Taylor, Tillery, Schwartz: Direct cortical control of 3D neuroprosthetic devices. Science (2002) Donoghue (2004) First implanted human patient; FDA 5 patients approved Andersen RA: PRR, Cognitive neuro-prosthetics, Science reports (2004) Morrow & Miller: Prediction of muscle activity by populations of sequentially recorded primary motor cortex neurons. JNP (2003) Yamamoto Kenji, Kitazawa, Kawato: Cerebellum

8 非侵襲脳活動計測 空間分解能 時間分解能 携帯性 ◎ 安全性 ○ ◎ ○ ？ ？ × △ △ ◎ ◎ × × △ ◎ × ○ ◎ ◎ PET
fMRI （磁気共鳴） NIRS （近赤外光） MEG （脳磁図） EEG （脳波） 空間分解能 時間分解能 携帯性 ◎ 安全性 ○ ◎ ○ ？ ？ × △ △ ◎ ◎ × × △ ◎ × ○ ◎ ◎ 高精度大規模装置 PET、fMRI、NIRS：空間分解能が高い fMRI　＋　MEG MEG、EEG：時間分解能が高い 簡便可搬型装置 ？：不良設定問題の解き方に依存 NIRS　＋　EEG

9 大規模装置 fMRI（高空間分解能） ＋ MEG（高時間分解能） 階層ベイズ法による 高精度脳活動推定 可搬型計測装置
　　　　　＋ MEG（高時間分解能） 　　　　MRI / fMRI ATR脳活動イメージングセンタ 脳磁計(MEG) 階層ベイズ法による 高精度脳活動推定 川人 振興調整費で 島津製作所と共同開発 NIRS（高空間分解能） 　　　　　＋ EEG（高時間分解能） 可搬型計測装置 脳波（EEG) 近赤外光計測(NIRS) 　　島津製作所

10 ALS患者への脳波BCIの臨床実施 Birbaumer et al., (1999) Nature
脳波でカーソルを動かす 頭皮上の２カ所の電極(A, B)の電位を計測 電位とカーソルの動きの関係 携帯電話に似た文字入力ソフトと組み合わせ， 　全身麻痺の人が長文を書くことに成功 　　　　 　 電位 　　　　プラス　マイナス 電極A　　右　　　　左 電極B　　上　　　　下 PC ↓ 患者 ５０日間、５万回訓練して、正答率７５％

11 fMRIの脳活動でカーソルを動かす Yoo et al., (2004) NeuroReport
１面終わるのに２５分間、ROIの活動の閾値処理だけ 脳活動 パターン カーソル が動く方向 1) 迷路を見せる 心的課題 暗算 心の中でなにか 言葉をつぶやく 2) 人間が心的 課題を行う 4) 対応する方向に カーソルを動かす 右手を動かす イメージ 左手を動かす イメージ 3) コンピュータが ４つのうちどの活動 パターンに近いか判断

12 脳波リアルタイムBCI分散システム The user has sometimes the feeling that Pacman
moves in the correct direction though the user was consciously not aware of his decision, sometimes consciously not even ready for a decision. 応用例：ゲーム（パックマン） real time processing of 128-channels EEG data by parallel computer Fisher’s Discriminant; classifier with minimum probability of misclassifications move packman forward or backward by EEG Krepki et al. Klaus-Robert Muller, DMS ’03

13 Published online before print December 7, 2004, PNAS OpNeuroscience Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans ( brain-machine interface | electroencephalography ) Jonathan R. Wolpaw * and Dennis J. McFarland

14 脳／心の解読（デコーディング） 刺激 脳活動 刺激の予測 神谷之康 ＡＴＲ脳情報研究所
エンコーディング デコーディング 刺激 脳活動 刺激の予測 ?? 視覚野の活動 (modified from 神谷之康　ＡＴＲ脳情報研究所 Scientific American 50 ( ) 受賞

15 脳画像のパターン認識による視覚刺激の予測
脳画像から 予測された傾き 100% 図形の傾き

16 運動制御への復号化の拡張 じゃんけんぽんのパターン認識 　大脳皮質第１次運動野 音韻のパターン認識 　母音：小脳 　子音：大脳皮質第１次運動野

17 New Technology 方法 BMI BCI 長所 神経活動測定 非侵襲的 短所 侵襲的なため 適用範囲限定
神経活動はブラックボックスのため 機能限定 New Technology 非侵襲計測による高精度神経活動推定

18 脳内電流源の階層ベイズ推定 階層ベイズ 逆フィルタ 高時間分解能(ミリ秒)と 高空間分解能(ミリメートル)で 脳神経活動推定
MEG/EEGデータ 推定電流 推定電流を用いて 活動領域にフォーカス fMRI/NIRSデータに よる柔らかな拘束条件 時間 電流 脳内電流源 fMRI/NIRSによる脳活動時間平均情報

19 視覚刺激反応シミュレーション fMRIデータ 視覚野上での MEGデータ 時系列活動パターン 偽の活動情報 逆問題（電源推定）
階層ベイズ推定結果 Wiener推定結果 三ヶ所が順番に活動 元の活動パターンを復元

20 Sato M, Yoshioka T, Kajiwara S, Toyama K, Goda N, Doya K,
階層ベイズ推定による脳磁図逆問題の解決 Sato M, Yoshioka T, Kajiwara S, Toyama K, Goda N, Doya K, Kawato M: Hierarchical Bayesian estimation for MEG inverse problem. NeuroImage, 23, (2004). Inflated Map of Cerebral Cortex Visual Areas

21 非侵襲高機能ＢＭＩの仕様 安価（手術、fMRI, PET, MEG等を使用しない）＝脳波、光トポにもとづく
安全性（暴走しない）＝汎化性能＝限局した脳活動を計測する必要 使用感（学習しやすさ）＝本来の脳情報の表現を利用する＝限局、神経科学 高機能（高い操作性）＝多自由度、高正答率＝統計手法、限局

22 ブレイン・ネットワーク・インタフェースの急激な進歩
(大量生産) 　　　　　　　　　　　　　　　　　 ユーザー訓練　学習アルゴリズム　脳表現　　 価格　　　　　性能 ALS脳波 　50日　　　　　　 ×　　　　　　　×　　　 5万円　　 ×× fMRIカーサー　　　　　　　　　　　なし　　　　　　 △　　　　　　 ◯　　　100万円　　 △ 侵襲ヒト 数日(時間)　　　　 ◯ 　　　　　 ◎　　　500万円　　 ◎ 脳波カーサー　　　　　　　　　　　 20日　　　　　　 ◯ 　　　　　 ◯ 　　　10万円　　　 ◯ BBMI (EEG)　　　　　　　　　　 40分　　　　　　 ◎ 　　　　 　 ×　　　 40万円　　　△ 　　 fMRIデコーディング　　　　　　　 なし　　　　　　 ◎　　　　　　 ◎　　　100万円　　 ◯ EEG-NIRSデコーディング　　　 40分　　　　　　 ◎ 　　　　　　◯　　　 30万円　　　 ◎ EEG-NIRS-Bayesian　　　　　　 5分　　　　　　 ◎　　　　　　 ◎　　 10万円　　 ◎ (1999) (2004) (2004) (2004) (2003) (2005) (5年後) (10年後)

23 ＡＴＲ脳情報研ブレイン・ ネットワーク・インタフェース開発の強み
非侵襲型にもかかわらず限局した脳活動：安全性と汎化能力の保障 １を可能にする階層変分ベイズ脳活動推定法 計算神経科学、復号化の実績 ヒューマノイドロボット研究の実績 複数の強力な商品化パートナー

24 そのままコンピュータやロボットに実行させる
まとめ 非侵襲脳活動計測による脳の運動指令推定　 頭で考えた運動イメージを そのままコンピュータやロボットに実行させる 革新的なインターフェース開発 SARCOS

25 “脳を使う”の応用 1.計測装置 2.リハビリテーション 関連の製品 3.エンターテイメント 映像関連の製品 4.ロボット製品
医療用・脳研究用の脳活動計測装置 安価な携帯型脳活動計測装置 脳機能モニター装置 →医療機関での脳活動モニターによる回復の診断訓練システム →遠隔脳モニターによる在宅リハビリおよび機能支援 映像操作アプリケーション →ビデオゲーム →アーケードゲーム →スポーツトレーニング 大型ロボット操作におけるブレインマシンインタフェース →災害救助・介護ロボットなどへの応用 小型ロボット・情報通信端末の高次レベル操作 →ペットロボット →通信端末（ロボット）／PC／情報家電 文字入力装置、外骨格・パワースーツ 脳活動パターン・スクリーニングシステム 機能的電気刺激(FES)による全身運動再建 1.計測装置 2.リハビリテーション 　　関連の製品 3.エンターテイメント 　　映像関連の製品 4.ロボット製品 5.その他の可能性

26 制御脳科学の新しい流れ 理論と実験データの時間相関を超える新しいパラダイムの必要性 脳からの情報抽出とフィードバック
理論に基づいたフィードバックの操作 抽出された脳情報の変更と、脳全体の活動の変化 理論とデータの因果関係の保証 制御に基づいた理論の展開

27 推定した脳活動から情報を抽出し、脳にフィードバックする
EEG，MEGなどから２次元カーサーの動きを制御できるように訓練する ランダムに動く標的の追跡課題 脳活動とカーサーの動きの間に任意の変換（例えば回転、ダイナミクス、ノイズ）を挿入 学習に伴う脳活動の変化を計測 脳活動と課題遂行の因果関係は保証されている 情報抽出する脳部位を系統的に検索 今水実験のブレイン・ネットワーク・インタフェース版

28 行動状態価値関数に基づいて 意志決定を操作する
ブレイン・ネットワーク・インタフェースにより実際の意志決定や運動開始前の実行可能 (Andersen 2004, Muller 2003) 行動状態価値関数を神経発火、BOLD信号として表現可能（鮫島、春野） 左右の行動状態価値関数の差で意志決定 左右のQ関数から後の行動決定を復号化と修正式で修飾 意志決定式の変更に伴う行動学習と脳活動の変化を計測 脳活動と行動学習の因果律は保証されている 脳内の各部位から活動をとり意志決定につなげる

29 Understanding Hierarchical Sensory-Motor Control by the Brain through Robot Control with Neural Decoding Human ROBOT Decision Prefrontal decoding Intention Parietal decoding Internal model CBL decoding Muscle activity M1 decoding SARCOS, ATR, CMU, NiCT

30 ヒトのコミュニケーションの進化 脳の重量はネアンデルタール大；脳の数（コミュニケーション）でホモサピエンスが圧倒、多数の脳と身体の共同作業
300万年前 ミメシス 共同作業 20-3万年前 言語 高効率 数千年前 記号 時間と空間を超える 数百年前 交通(全身) リアルタイムではない 160年前 電信 記号・リアルタイム 120年前 電話 音声言語・感情 20年前 インターネット 記号→受動的画像・音声 未来 ミメシス＋時間＋空間＋文化 分身コミュニケーション 脳研究＋ロボット

31 脳計算モデルとヒューマノイドによる電気通信
●脳のモデル ●見まね制御 ●コミュニケーション 　信号の認知 ●コミュニケーション 　信号の認知 ●脳のモデル ●見まね制御 ●時間遅れ