Introduction to Neural Networks

Slides:



Advertisements
Similar presentations
Maxent model への挑戦 - 驚きとドキドキ感の理論 - 大野ゆかり Phillips et al. (2006) Maximum entropy modeling of species geographic distributions. Ecological Modeling 190:
Advertisements

第 5 章 2 次元モデル Chapter 5 2-dimensional model. Contents 1.2 次元モデル 2-dimensional model 2. 弱形式 Weak form 3.FEM 近似 FEM approximation 4. まとめ Summary.
量子化(Mid-riser型) 出力y 入力x 通信ネットワーク特論(量子化・符号化).
10.時系列データの解析 time-series data
Introduction to Neural Networks
2010年7月9日 統計数理研究所 オープンハウス 確率モデル推定パラメータ値を用いた市場木材価格の期間構造変化の探求 Searching for Structural Change in Market-Based Log Price with Regard to the Estimated Parameters.
先端論文紹介ゼミ Tracking control for nonholonomic mobile robots: Integrating the analog neural network into the backstepping technique 非ホロノミック移動ロボットのための追従制御:
Chapter 7. Content-Addressable Memory
多数の疑似システムを用いた システム同定の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
How to Become a Supply Chain Analyst with Free
Verb Plain Negativeform
Solid State Transformer (SST)
雑音重み推定と音声 GMMを用いた雑音除去
SP0 check.
がけ崩れの観測手法 Monitoring method for slope failure
ランダムプロジェクションを用いた 音声特徴量変換
先端論文紹介ゼミ 09/10/20 B4 石川 智昭.
Tohoku University Kyo Tsukada
Estimating Position Information by Detecting Network-Connection
Licensing information
まずはじめに、二次元電気泳動によって得られたタンパク質に酵素処理を行い、ペプチドを解離する。
自閉症スペクトラム障害児と定型発達児の識別に関する音響特徴量選択の検討
パターン認識とニューラルネットワーク 栗田多喜夫 2018/11/8 早稲田大学大学院理工学研究科講義.
サポートベクターマシン によるパターン認識
京大岡山 3.8m 望遠鏡 分割鏡制御に用いる アクチュエータの特性評価
P4-21 ネットワーク上の経路に対する 回帰問題について
Deep Learningを用いたタンパク質のコンタクト残基予測
画像情報特論 (5) - ディジタル圧縮 (2) 音声・オーディオ圧縮 電子情報通信学科 甲藤二郎
決定木とランダムフォレスト 和田 俊和.
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
Vector 4 = [Vector 3, packet_size]
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
人工知能を動かしてみる(Keras を用いたニューラルネットワークの定義,コンパイル,学習,評価,予測)
卒業論文 重力波のデータ解析における 分散処理の必要性
Songzhu Gao, Tetsuya Takiguchi, Yasuo Ariki (Kobe University) 
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
深層学習を用いた音声認識システム 工学部 電気電子工学科 白井研究室 T213069 林健吉.
大規模なこと Large scale.
Anja von Heydebreck et al. 発表:上嶋裕樹
Data Clustering: A Review
著者:六川修一 著者:六川修一 原画像(左画像)は ©METI and JAXA[2007] Distributed by ERSDAC 著者:六川修一.
論文紹介: “Joint Embedding of Words and Labels for Text Classification”
シミュレーション物理2 プログラミングの基本
Term paper, report (2nd, final)
Number of random matrices
数値予報 (Numerical Weather Prediction)
研究背景と目的 局面対による学習の高速化 学習器の説明 今後 大規模な強化学習技術の実証と応用 一方で、 強化学習手法の台頭
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
法数学のための 機械学習の基礎 京大(医) 統計遺伝学分野 山田 亮 2017/04/15.
ベイズ最適化 Bayesian Optimization BO
クロスバリデーションを用いた ベイズ基準によるHMM音声合成
遺伝的交叉を用いた 並列シミュレーテッドアニーリングによる タンパク質立体構造予測
東北大 情報科学 田中和之,吉池紀子 山口大 工 庄野逸 理化学研究所 岡田真人
HMM音声合成における 変分ベイズ法に基づく線形回帰
ベイズ基準による 隠れセミマルコフモデルに基づく音声合成
P P コンプレッサにおける能動騒音制御 19 Active noise control in compressor 1. 研究背景
``Exponentiated Gradient Algorithms for Log-Linear Structured Prediction’’ A.Globerson, T.Y.Koo, X.Carreras, M.Collins を読んで 渡辺一帆(東大・新領域)
ETPB: Extraction of Context from Pedestrians' Behavior
ベイズ音声合成における 事前分布とモデル構造の話者間共有
時間連続性を考慮した 動画からの人物の姿勢推定
音響伝達特性モデルを用いた シングルチャネル音源位置推定の検討 2-P-34 高島遼一,住田雄司,滝口哲也,有木康雄 (神戸大) 研究の背景
誤差逆伝播法による ニューラルネットワーク (BackPropagation Neural Network, BPNN)
わかりやすいパターン認識 第3章 誤差評価に基づく学習 3.3 誤差逆伝播法.
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
ニューラルネットワークの仕組み (Raspberry PI 演習で学ぶ) AI DATA VASSEL 資料
自己縮小画像と混合ガウス分布モデルを用いた超解像
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
ランダムプロジェクションを用いた音響モデルの線形変換
外れ値検出 Outlier Detection 外れサンプル検出 Outlier Sample Detection
Presentation transcript:

Introduction to Neural Networks 適応システム理論 ガイダンス Introduction to Neural Networks Kenji Nakayama Kanazawa University, JAPAN

PPTファイルの入手方法 http://leo. ec. t. kanazawa-u. ac PPTファイルの入手方法 http://leo.ec.t.kanazawa-u.ac.jp/~nakayama/ Education 授業科目 Lecture Subjects 適応システム理論 平成19年度 ガイダンスPPTファイル

Neural Networks Network Structures Multi-layer Network  Recurrent Network Learning Algorithms  Supervised Learning  Unsupervised Learning Functions  Pattern Mapping and Classification  Estimation and Prediction  Associative Memory  Optimization and Minimization

Multi-Layer Neural Networks

Artificial Neuron Model

Activation (Nonlinear) Function of Neuron Active Inactive Space Separation

Pattern Classification by Single Neuron

Linearly Inseparable Problem

Two Layer Neural Network

Pattern Classification by Two-Layer NN - Region Separation by Hidden Units-

Pattern Classification by Two-Layer NN - Class Separation by Output Unit -

Learning of Connection Weights in Single-Layer NN Gradient Method is minimized

Learning of Connection Weights in Multi-Layer NN - Error Back Propagation Algorithm - Gradient Method Chain Rule in Derivative

Learning Process (Initial State) u=0

Learning Process (Middle State) u=0

Learning Process (Middle State) u=0

Learning Process (Convergence) u=0

Training and Testing for Pattern Classification

Prediction of Fog Occurrence Application 1 Prediction of Fog Occurrence

Number of Fog Occurrence Fog is observed every 30 minutes

Neural Network for Prediction

Weather Data ・Temperature ・Atmospheric Pressure ・Humidity ・Force of Wind ・Direction of Wind ・Cloud Condition ・Past Fog Occurrence  ・・・・・ 20 kinds of weather data are used

Connection Weights from Input to Hidden Unit

Connection Weights from Hidden to Output Fog will occur Fog won’t occur

FFT of Connection Weights Used for Predicting Fog Input→Hidden Unit #6 Input→Hidden Unit #10

FFT of Connection Weights for Predicting No Fog Input→Hidden Unit #3 Input→Hidden Unit #14

Prediction Accuracy of Fog and No Fog

Nonlinear Time Series Prediction Application 2 Nonlinear Time Series Prediction

Examples of Nonlinear Time Series Sunspot Lake Level Chaotic Series

Nonlinear Predictor Combining NN and Linear Filter

Prediction Accuracy by Several Methods

Prediction of Machine Deformation Application 3 Prediction of Machine Deformation

Numerically Controlled Cutting Machine Cutting Tool Objective

Machine Temperature Change in Time

Deformation of Cutting by Temperature Change

Deviation of Cutting by Temperature Change Tolerance

Mean Squared Error Reduction by Learning NN

Prediction of Deformation Using NN Tolerance

ニューラルネットワークによる タンパク質二次構造予測

タンパク質はアミノ酸配列が立体的に 折り畳まれることによって生じる 立体構造がタンパク質の機能性を決定 IJCNN‘2002 R.Pollock,T.Lane,M.Watts 立体構造の中に部分的に存在する規則構造 タンパク質二次構造 タンパク質二次構造予測は タンパク質構造解析において非常に有用

データの操作 ・1個のアミノ酸の二次構造を予測するため 前後4個(計9個)のアミノ酸の情報を使用 ・1個のアミノ酸に22個の入力ユニット  前後4個(計9個)のアミノ酸の情報を使用 ・1個のアミノ酸に22個の入力ユニット  (各アミノ酸種20個、スペーサ1個、不変重み1個) ・入力ユニット22*9個、出力ユニット3個

従来法との比較 70

ニューラルネットワークによる ブレイン・コンピュータ・インターフェイス

研究背景 人間とコンピュータのインタフェースとして、現在、さまざまなものが使用されている 近年、脳波を解析して行う手法に注目 (ブレイン・コンピュータ・インタフェース:BCI) 重度の運動障害を抱える患者が機器を操作するのを助ける、といった応用が期待されている

BCIの処理の流れ ユーザがやりたいことを想像し、そのときの脳波を測定する ・メンタルタスク(想像する課題)を使用 脳波を解析し、ユーザの意図を推定する 推定結果に基づいて、機器を操作する ○○ したい 対応する タスクを 想像 脳波 特徴量 特徴抽出 脳波の測定 タスク 特徴分類 分類器 機器の操作 脳波の測定 特徴抽出 特徴分類 機器の操作

BCIの方式 (文献[3]) 特徴量 ・ 周波数スペクトル ・ AR係数 特徴量  ・ 周波数スペクトル  ・ AR係数 分類方法  ・ ニューラルネットワーク  ・ 隠れマルコフモデル  ・ 線形分類

本研究で用いた手法 特徴量  フーリエ変換の振幅 分類方法  ニューラルネットワーク 脳波データ  コロラド州立大学が公開しているデータ

脳波データ 用いられたメンタルタスクは、5種類 B : できるだけリラックス M: 掛け算を暗算で行う(49×78など) L : 手紙の文を考える R : 回転する3次元物体を想像する C : 数字を順番に書くことを想像する 脳波から、そのときのタスクを推定する

脳波データ 脳波を測定する電極の数は、7個 C3, C4, P3, P4, O1, O2, EOG(まばたき検出) 1回の測定は、 10 秒間 250Hzで、サンプリング →1チャネルあたり、2500サンプル

脳波データセット 250 Hz × 10 秒 = 2500 サンプル C3 C4 P3 P4 O1 O2 EOG 1チャネル分の脳波データ このような波形が、7チャネル分ある

特徴抽出 セグメント分割 フーリエ変換の振幅 サンプル数の低減 データの非線形正規化 セグメント 分割 フーリエ 変換振幅 サンプル 平均化 脳波 入力 データ

セグメント分割 セグメントごとに フーリエ変換 10 秒のデータを 0.5 秒のセグメントに分割 0.25 秒ごとに、分類結果を出す(上の↓) 0.5 秒 0.5 秒 0.5 秒 0.5 秒 ・・・ セグメントごとに フーリエ変換 ・・・

フーリエ変換の振幅 サンプル数125

サンプル数の低減 連続する複数サンプルで 平均することにより、サンプル数を低減 サンプル数125 サンプル数20

データの非線形正規化 データの分布を広げるために正規化を行う

7チャネル分並べたものが、入力データとなる(10×7=70サンプル) データの非線形正規化 振幅は、対称なので半分だけ用いる 正規化 7チャネル分並べたものが、入力データとなる(10×7=70サンプル)

ニューラルネットワークによる分類 隠れ層1層の2層形ネットワーク 学習は、バックプロパゲーション法で行う 活性化関数は、シグモイド関数 出力ユニットは、 5種類のタスクに対応して、5個用いる 学習の際の目標出力は、  1:該当するタスクに対応する出力ユニット  0:その他の出力ユニット

ニューラルネットワークによる分類 最も大きな値を持つ出力ユニットに対応するタスクを分類結果とする 出力が全体的に小さい値のときは、 リジェクト(判定不能)とする ・・ 1 2 3 4 5 ・・ 1 2 3 4 5 0.3 0.9 0.1 0.0 0.2 0.1 0.2 0.0 分類結果は、タスク2 リジェクト(判定不能)

シミュレーション 5種類のメンタルタスクに対して、 10回ずつ測定を行ったので、合計50個のデータセットがある このうち、40個を学習に、残りの10個を テストに用いる テストに用いるデータを変えて、5回シミュレーションを行い、その平均値で、結果を評価する

シミュレーションの条件 2人の被験者の脳波を用いて、それぞれ シミュレーションを行った 隠れ層のユニット数: 20 学習係数: 0.2 隠れ層のユニット数: 20 学習係数: 0.2 結合重みの初期値: ±0.2の範囲でランダム 学習回数: 5000 リジェクトのための閾値: 0.8

学習・テストデータに対する正答率 被験者1 被験者2

被験者1・2の正答率と誤答率 学習データ テストデータ 被験者 正 誤 比 1 99.7 0.1 0.99 79.7 10.5 0.88 2 95.5 0.8 45.5 33.7 0.57

被験者1の テストデータに対する正答・誤答表 B M L R C リジェクト 正答率 誤答率 326 11 12 2 39 83.6 6.4 18 328 8 9 27 84.1 9.0 23 258 14 34 59 66.2 18.7 1 26 4 31 8.5 33 7.4 B:リラックス M:掛け算 L:手紙の文 R:回転する物体 C:数字を書く

被験者2の テストデータに対する正答・誤答表 B M L R C リジェクト 正答率 誤答率 217 40 29 14 8 82 55.6 23.3 65 106 31 44 45 99 27.2 47.4 48 23 223 16 49 57.2 30.3 155 83 39.7 39.0 21 10 205 62 52.6 31.5 B:リラックス M:掛け算 L:手紙の文 R:回転する物体 C:数字を書く

Recurrent Neural Networks

Recurrent Neural Network

Hopfield Neural Network ・Symmetrical Connections ・No Self-loop ・One neuron randomly selected is updated. ・The energy function always decrease  or stay at the same value. ・Memory Capacity is about 15% of Neurons

Associative Memory (1) 4x4=16 Neuron RNN 6 Random Patterns {pi} are Stored Connection Weights ★Demonstration  Association from another random patterns

Traveling Salesman Problem Active Neuron Inactive Neuron (5×5 Neurons)

Associative Memory (2) (IJCNN’91, ICNN’94) ・Error Correction Learning with Hysteresis ・Adaptive Hysteresis Threshold for Association ・51 Alphabet Letters and 10 Digits are Stored in 16x16=256 Neuron RNN. 25% of Neurons

Association of ‘M’ from Its Noisy Pattern

Association of ‘M’ from Its Right Half Pattern

Association of ‘M’ from Its Upper Half Pattern

Competitive Learning

Lateral Inhibition Model

END OF THIS LECTURE THANK YOU