量的表現 Quantitation.

Slides:



Advertisements
Similar presentations
シミュレーション演習 G. 総合演習 ( Mathematica 演 習) システム創成情報工学科 テキスト作成: 藤尾 光彦 講義担当: 尾下 真樹.
Advertisements

Maxent model への挑戦 - 驚きとドキドキ感の理論 - 大野ゆかり Phillips et al. (2006) Maximum entropy modeling of species geographic distributions. Ecological Modeling 190:
図示、可視化モジュール ~ pylab と numpy を ちょっと~. pylab とは? ・数学や統計的なグラフを生成するモ ジュール ・インストール pip や easy install からのインストールを推奨 →numpy モジュールなどの前提としている。 Anaconda の場合は標準.
Lesson 9. 頻度と分布 §D. 正規分布. 正規分布 Normal Distribution 最もよく使われる連続確率分布 釣り鐘形の曲線 -∽から+ ∽までの値を取る 平均 mean =中央値 median =最頻値 mode 曲線より下の面積は1に等しい.
地理情報システム論 第11回 GIS による処理技法 アドレスマッチングの利用 空間的分布の特徴の把握.
じしょけいのつくりかた 辞書形の作り方 How to make dictionary form. There are 3 groups of verbs Group Ⅰ 70% のみます i とります i かいま す i.
主成分分析 主成分分析は 多くの変数の中を軸を取り直すことで より低い次元で表現できるようにする。 データがばらついている方向ほど
数理統計学(第ニ回) 期待値と分散 浜田知久馬 数理統計学第2回.
寺尾 敦 青山学院大学社会情報学部 Fisher の直接確率法 寺尾 敦 青山学院大学社会情報学部
因子分析,共分散構造分析 Factor Analysis Structural Equations Model
多次元楕円の正球化座標変換を利用した分割表検定のパーミュテーションテスト効率改善について
第6回 分散分析(第7章) Analysis of Variance
9. 主成分分析 Principal Component Analysis (PCA)
論文紹介 “Data Spectroscopy: Learning mixture models using eigenspaces of convolution operators” (ICML 2008) ─ by Tao Shi, Mikhail Belkin, and Bin Yu IBM東京基礎研究所.
2010年7月9日 統計数理研究所 オープンハウス 確率モデル推定パラメータ値を用いた市場木材価格の期間構造変化の探求 Searching for Structural Change in Market-Based Log Price with Regard to the Estimated Parameters.
構造的表現 Structure and Space
多数の疑似システムを用いた システム同定の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
疫学概論 母集団と標本集団 Lesson 10. 標本抽出 §A. 母集団と標本集団 S.Harano,MD,PhD,MPH.
第6章 2つの平均値を比較する 2つの平均値を比較する方法の説明    独立な2群の平均値差の検定   対応のある2群の平均値差の検定.
大数の法則 平均 m の母集団から n 個のデータ xi をサンプリングする n 個のデータの平均 <x>
Verb Plain Negativeform
回帰分析.
IT入門B2 ー 連立一次方程式 ー.
3章 Analysing averages and frequencies (前半 p )
データ分析入門(13) 第13章 主成分分析 廣野元久.
応用統計学の内容 推測統計学(inferential statistics)   連続型の確率分布   標本分布   統計推定   統計的検定.
ランダムプロジェクションを用いた 音声特徴量変換
統計学 11/08(木) 鈴木智也.
統計学  第6回 西山.
統計数理 石川顕一 10/17 組み合わせと確率 10/24 確率変数と確率分布 10/31 代表的な確率分布
母集団と標本:基本概念 母集団パラメーターと標本統計量 標本比率の標本分布
ストップウォッチの カード ストップウォッチの カード
アーランの即時式モデル.
分割表 Contingency table.
PCAからICAへ? 狩野裕+清水昌平 (大阪大学人間科学部) 日本行動計量学会:東京大学 平成12年10月.
Photometric properties of Lyα emitters at z = 4
第5回 回帰モデル Regression Analysis
応用統計学の内容 推測統計学(inferential statistics)   連続型の確率分布   標本分布   統計推定   統計的検定.
正規分布確率密度関数.
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
ICML2006勉強会 2006年7月29日 局所フィッシャー判別分析 東京工業大学 計算工学専攻 杉山 将.
確率論の基礎 「ロジスティクス工学」 第3章 鞭効果 第4章 確率的在庫モデル 補助資料
T2統計量・Q統計量 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
第6章 特徴空間の変換 6.1 特徴選択と特徴空間の変換 6.2 特徴量の正規化 平成15年5月23日(金) 発表者 藤井 丈明
大規模なこと Large scale.
独立成分分析 (ICA:Independent Component Analysis )
標本分散の標本分布 標本分散の統計量   の定義    の性質 分布表の使い方    分布の信頼区間 
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
主成分分析 Principal Component Analysis PCA
多変量解析 ~主成分分析~ 1.主成分解析とは 2.適用例と解析の目的 3.解析の流れ 4.変数が2個の場合の主成分分析
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
プロセスデータ解析学5 -主成分分析- 担当:長谷部伸治     金 尚弘.
2019/4/22 Warm-up ※Warm-up 1~3には、小学校外国語活動「アルファベットを探そう」(H26年度、神埼小学校におけるSTの授業実践)で、5年生が撮影した写真を使用しています(授業者より使用許諾済)。
Number of random matrices
構造的表現 Structure and Space
ベイズ最適化 Bayesian Optimization BO
データ解析 静岡大学工学部 安藤和敏
最尤推定・最尤法 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
「ICAによる顔画像特徴量抽出とSVMを用いた表情認識」
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
Le Lu, Rene Vidal John Hopkins University (担当:猪口)
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
臨床統計入門(1) 箕面市立病院小児科  山本威久 平成23年10月11日.
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
分割表 Contingency table.
rd-7. 主成分分析 (Rシステムでデータサイエンス演習)
Speaker: Kazuhiro Inaba Paper Introduction from WSDM 2015
ランダムプロジェクションを用いた音響モデルの線形変換
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

量的表現 Quantitation

分布 Distribution 1峰性分布

2峰性分布

2次元分布

有限範囲の2次元分布

パターン認識… Pattern recognition… 2次元 Two-dimension なぜ? Why?

分布 Distribution 1峰性分布

1次元分布 1-dimensional dist. 1峰性分布 Unimodal dist. 平均・分散 Mean/Variance モーメント Moments モーメントの計算 How to calculate moments 値、値の増加率、増加率の増加率 Value, Increasing rate, Increasing rate of increasing rate 微分・積分 Diffenrential/Integration 確率分布・累積確率分布 Probability distribution/Cumulative probability distribution R2-1.R

1峰性分布を作る Make unimodal distribution x<-rnorm(N) hist(x) plot(sort(x)) x<-rnorm(N,mean=1,sd=1)

2峰性分布

1次元2峰性分布 Two-dimensional di-modal dist. N1<-100;N2<-50 m1<-0;m2<-10;sd1<-1;sd2<-2 x1<-rnorm(N1,mean=m1,sd=sd1) x2<-rnorm(N2,mean=m2,sd=sd2) x<-c(x1,x2) hist(x) plot(sort(x))

平均を変えてみる Change means 分散を変えてみる Change vars(sds)

1次元多峰性分布 Two-dimensional polymodal dist. 5峰性分布をつくってみる Make 5-modal dist 峰の数を変えてみる Change number of peaks

2次元1峰性分布 Two-dimensional unimodal dist. x1<-rnorm(N) x2<-rnorm(N) plot(x1,x2)

2次元1峰性分布 Two-dimensional unimodal dist. 軸ごとに平均をかえてみる Change mean of x1 and x2 軸ごとに分散をかえてみる Change var/sd of x1 and x2 N<-1000 x1<-rnorm(N,mean=0,sd=1) x2<-rnorm(N,mean=10,sd=4) xlim<-ylim<-c(min(x1,x2),max(x1,x2)) plot(x1,x2,xlim=xlim,ylim=ylim)

多次元1峰性分布 Poly-dimensional unimodal dist. m1<-0;m2<-10;m3<-30; sd1<-1;sd2<-4;sd3<-10 x1<-rnorm(N,mean=m1,sd=sd1) x2<-rnorm(N,mean=m2,sd=sd2) x3<-rnorm(N,mean=m3,sd=sd3) plot(as.data.frame(cbind(x1,x2,x3))) library(rgl) plot3d(x1,x2,x3) 軸の値に注意 Note values on axes displayed

多次元多峰性分布 Poly-dimensional polymodal dist. m1<-0;m2<-10;m3<-30; sd1<-1;sd2<-4;sd3<-10 x1<-rnorm(N,mean=m1,sd=sd1) x2<-rnorm(N,mean=m2,sd=sd2) x3<-rnorm(N,mean=m3,sd=sd3) N<-2000 m1<-20;m2<-20;m3<-20; sd1<-1;sd2<-1;sd3<-1 y1<-rnorm(N,mean=m1,sd=sd1) y2<-rnorm(N,mean=m2,sd=sd2) y3<-rnorm(N,mean=m3,sd=sd3) N<-500 m1<-10;m2<-50;m3<-20; sd1<-5;sd2<-4;sd3<-1 z1<-rnorm(N,mean=m1,sd=sd1) z2<-rnorm(N,mean=m2,sd=sd2) z3<-rnorm(N,mean=m3,sd=sd3) w1<-c(x1,y1,z1) w2<-c(x2,y2,z2) w3<-c(x3,y3,z3) www<-cbind(w1,w2,w3) plot(as.data.frame(www)) library(rgl) plot3d(w1,w2,w3)

データプロットを眺める最適視点を探す Find “best” spot to look at the data plot

亜集団の混合 Mixture of subpopulations R7-5.R

#偏った集団構成(100人規模の亜集団4つと10人規模の亜集団を20個)で #100項目のデータを作成 Nm<-100 #項目数 # 亜集団別の人数発生(100人くらいの4亜集団と20人くらいの10亜集団) Ns<-c(rpois(4,100),rpois(20,10)) Npop<-length(Ns) #亜集団数 M<-NULL #全データを納める行列 #亜集団別に平均を振ってシミュレーション for(j in 1:Npop){ tmpM<-matrix(rep(0,Nm*Ns[j]),ncol=Nm) for(i in 1:Nm){ # 項目ごとのループ af<-rnorm(1) # 項目の亜群期待値 tmpM[,i]<-rnorm(Ns[j],af) # 亜集団別のデータ } #全データ行列に格納 M<-rbind(M,tmpM) R7-5.R # データを標準化 wholemean<-mean(M) M<-M-wholemean # 全平均が0になるように mu<-apply(M,2,mean) # 列平均 M<-t(t(M)-mu) # 列平均が0になるように

# 固有値分解前後をimage()プロット image(1:sum(Ns),1:Nm,M,xlab="サンプル(大集団→小集団)",ylab="項目") # 固有値分解 svdout<-svd(M) M2<-svdout$u%*%diag(svdout$d) # 分解後データ行列 par(mfcol=c(1,2)) # 固有値分解前後をimage()プロット image(1:sum(Ns),1:Nm,M,xlab="サンプル(大集団→小集団)",ylab="項目") image(1:sum(Ns),1:Nm,M2,xlab="サンプル(大集団→小集団)", ylab="PCA後eigen項目")

亜集団の混合 Mixture of subpopulations R7-5.R

適切な軸 Appropriate axes

データを読む “Read” data 記述する・説明する Description, Explanation 少ない変数で説明する Describe with a few variables 残りは「ランダム」と考える The rest is “at random”

R7-2.R

SSw=SSb+SSi

分散分析 ANOVA SSw=SSb+SSi When SSb is larger, “difference among groups is larger” サンプル数が異なるとき When No. samples is different サンプル数について一般化 Generalization for No. samples 自由度 degrees of freedom

分散の分解 Decomposition of variance into pieces R7-5.R

適切な軸 Appropriate axes

固有値分解・主成分分析 Eigenvalue decomposition・Principal Component Analysis (PCA) R7-5.R 正規直交基底 Orthonormal base どうして「直交」 Why orthogonal? 分散が基底成分の分散に分解できるから Because variance is decomposed into component variances of directions