東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)

Presentation on theme: "東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)"— Presentation transcript:

1 東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
物理フラクチュオマティクス論 Physical Fluctuomatics 第3回 確率変数，確率分布，確率密度関数 3rd Random variable, probability distribution and probability density function 東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka) 2008/4/24 物理フラクチュオマティクス論（東北大学）

2 物理フラクチュオマティクス論（東北大学）
確率の基礎知識 事象と確率 結合確率と条件付き確率 ベイズの公式と事前確率，事後確率 離散確率変数と確率分布 連続確率変数と確率密度関数 期待値，分散，共分散 一様分布 ガウス分布 前回 今回 2008/4/24 物理フラクチュオマティクス論（東北大学）

3 物理フラクチュオマティクス論（東北大学）
確率と確率変数 各事象に番号を割り当て，その番号に対する変数を導入する．この変数を確率変数 (Random Variable)という． 「奇数の目がでる」という事象に「X=1」という等式を対応させることができる． 2008/4/24 物理フラクチュオマティクス論（東北大学）

4 物理フラクチュオマティクス論（東北大学）
確率と確率変数 標本空間から構成されたすべての事象 A に実数値 X(A) を１対１対応させる写像を考える．この写像 X(A) を事象 A の確率変数 (Random Variable) という．通常, 確率変数 X(A) は A を省略し，単に X と表される． 確率変数 X が実数値 x をとる事象 X=x の確率を Pr{X=x} と表す．このとき x をその確率変数の実現値または状態 (State)という．起こりうる状態の集合を状態空間 (State Space)という． ２つの事象X=x および X=x’ が互いに排反であるとき状態 x と状態 x’ は互いに排反であるという． 2008/4/24 物理フラクチュオマティクス論（東北大学）

5 物理フラクチュオマティクス論（東北大学）
離散確率変数と連続確率変数 離散確率変数 (Discrete Random Variable): 　　　　　離散的な状態空間をもつ確率変数 　　　　　　　　　　例：{x1,x2,…,xM} 連続確率変数 (Continuous Random Variable): 　　　　　連続的な状態空間をもつ確率変数 　　　　　　　　　　例：(−∞,+∞) 2008/4/24 物理フラクチュオマティクス論（東北大学）

6 物理フラクチュオマティクス論（東北大学）
離散確率変数と確率分布 標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表され，確率変数 X がM 個の状態 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義されるとき すべて事象 X=x1, X=x2,…, X=xM の起こる確率 が変数 x の関数 P(x) を用いて 確率変数 状態変数 状態 と表されるとき, P(x) を確率変数 X の確率分布 (Probability Distribution) ，x を状態変数 (State Variable) という． 2008/4/24 物理フラクチュオマティクス論（東北大学）

7 物理フラクチュオマティクス論（東北大学）
離散確率変数の確率分布の性質 いずれも確率の公理１，２，３から導かれる． 規格化条件(Normalization Condition) 2008/4/24 物理フラクチュオマティクス論（東北大学）

8 物理フラクチュオマティクス論（東北大学）
離散確率変数の期待値と分散 確率変数 X の期待値 (Expected Value，平均: Average)μ 確率変数 X の分散 (Variance) σ2 σ：標準偏差 (Standard Deviation) 2008/4/24 物理フラクチュオマティクス論（東北大学）

9 物理フラクチュオマティクス論（東北大学）
離散確率変数の結合確率分布 ２種類の確率変数 X, Y に対して，事象 X=x と事象 Y=y 結合事象 (X=x)∩(Y=y)の起こる確率 Pr{(X=x)∩(Y=y)}= Pr{X=x,Y=y} が関数 P(x,y) を用いて と表されるとき, P(x,y) を確率変数 X と Y の結合確率分布 (Joint Probability Distribution) という． 確率ベクトル変数 状態ベクトル変数 2008/4/24 物理フラクチュオマティクス論（東北大学）

10 物理フラクチュオマティクス論（東北大学）
離散確率変数の周辺確率分布 標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表され，離散確率変数 X がM 個の実数値 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義されるとき 確率変数 Y の 周辺確率分布 (Marginal Probability Distribution) 簡略表記 状態空間における互いに排反な取り得るすべての状態 x についての和 規格化条件 (Normalization Condition) 2008/4/24 物理フラクチュオマティクス論（東北大学）

11 物理フラクチュオマティクス論（東北大学）
離散確率変数の周辺確率分布 より高次元への拡張 確率変数 Y の周辺確率分布 (Marginal Probability Distribution) X Y Z U 周辺化 (Marginalize) 2008/4/24 物理フラクチュオマティクス論（東北大学）

12 物理フラクチュオマティクス論（東北大学）
離散確率変数の独立性 確率変数 X と Y が互いに独立である： 確率変数 Y の確率分布 確率変数 X と Y の結合確率分布 確率変数 X の確率分布 確率変数 Y の周辺確率分布 2008/4/24 物理フラクチュオマティクス論（東北大学）

13 物理フラクチュオマティクス論（東北大学）
離散確率変数の共分散 確率変数 X と Y の共分散 (Covariance) 共分散行列 (Covariance Matrix) 2008/4/24 物理フラクチュオマティクス論（東北大学）

14 物理フラクチュオマティクス論（東北大学）
離散確率変数の確率分布の例 a E[X] 2008/4/24 物理フラクチュオマティクス論（東北大学）

15 物理フラクチュオマティクス論（東北大学）
離散確率変数の結合確率分布の例 a Cov[X,Y] 2008/4/24 物理フラクチュオマティクス論（東北大学）

16 物理フラクチュオマティクス論（東北大学）
離散確率変数の条件付き確率分布の例 ２元対称通信路の 条件付き確率分布 2008/4/24 物理フラクチュオマティクス論（東北大学）

17 物理フラクチュオマティクス論（東北大学）
連続確率変数の確率 確率変数 X の状態空間 (−∞,+∞) において状態 x が区間 (a,b) にある確率 確率変数 X の分布関数(Distribution Function) 確率変数 X の確率密度関数 (Probability Density Function) 2008/4/24 物理フラクチュオマティクス論（東北大学）

18 物理フラクチュオマティクス論（東北大学）
連続確率変数の確率密度関数の性質 規格化条件(Normalization Condition) 2008/4/24 物理フラクチュオマティクス論（東北大学）

19 物理フラクチュオマティクス論（東北大学）
連続確率変数の期待値と分散 確率変数 X の期待値 (平均) 確率変数 X の分散 2008/4/24 物理フラクチュオマティクス論（東北大学）

20 物理フラクチュオマティクス論（東北大学）
連続確率変数の結合確率密度関数 確率変数 X と Y の状態空間 (−∞,+∞) において状態 x と y が区間 (a,b)×(c,d) にある確率 結合確率密度関数 (Joint Probability Density Function) 規格化条件 (Normalization Condition) 2008/4/24 物理フラクチュオマティクス論（東北大学）

21 物理フラクチュオマティクス論（東北大学）
連続確率変数の周辺確率密度関数 確率変数 Y の 周辺確率密度関数 (Marginal Probability Density Function) 2008/4/24 物理フラクチュオマティクス論（東北大学）

22 物理フラクチュオマティクス論（東北大学）
連続確率変数の独立性 確率変数 X と Y が互いに独立である： 確率変数 Y の確率密度関数 確率変数 X と Y の 結合確率密度関数 確率変数 X の確率密度関数 確率変数 Y の 周辺確率密度関数 2008/4/24 物理フラクチュオマティクス論（東北大学）

23 物理フラクチュオマティクス論（東北大学）
連続確率変数の共分散 確率変数 X と Y の共分散 (Covariance) 共分散行列 (Covariance Matrix) 2008/4/24 物理フラクチュオマティクス論（東北大学）

24 物理フラクチュオマティクス論（東北大学）
一様分布 U(a,b) 一様分布 (Uniform Distribution) の確率密度関数 p(x) x a b (b-a)-1 2008/4/24 物理フラクチュオマティクス論（東北大学）

25 物理フラクチュオマティクス論（東北大学）
ガウス分布（正規分布） N(μ,σ2) 平均μ，分散σ2 のガウス分布 (Gaussian Distribution) の確率密度関数 p(x) μ x 平均と分散はガウス積分の公式 (Gaussian Integral Formula) から導かれる 2008/4/24 物理フラクチュオマティクス論（東北大学）

26 物理フラクチュオマティクス論（東北大学）
多次元ガウス分布 行列 C を正定値の実対称行列として，２次元ガウス分布 (Two-Dimensional Gaussian Distribution) の確率密度関数 において行列 C が共分散行列になる． d 次元ガウス積分の公式から導かれる 一般の次元への拡張も同様 2008/4/24 物理フラクチュオマティクス論（東北大学）

27 物理フラクチュオマティクス論（東北大学）
大数の法則 X1,X2,...,Xn は平均 m, 分散 s2 の互いに独立な同一の確率変数であるとき 中心極限定理 X1,X2,...,Xn は平均 m, 分散 s2 の互いに独立な同一の確率変数であるとき は n が大きいとき平均 m, 分散 s2/n の正規分布に従う． 2008/4/24 物理フラクチュオマティクス論（東北大学）

28 物理フラクチュオマティクス論（東北大学）
確率の基礎知識 事象と確率 結合確率と条件付き確率 ベイズの公式と事前確率，事後確率 離散確率変数と確率分布 連続確率変数と確率密度関数 期待値，分散，共分散 一様分布 ガウス分布 前回 今回 2008/4/24 物理フラクチュオマティクス論（東北大学）

29 物理フラクチュオマティクス論（東北大学）
演習問題３－１ 確率変数 X が ±1 の２値のみをとるものとして事象 X が状態 x をとるという事象 X=x の確率分布が により与えられるとき期待値 E[X] と分散 V[X] の表式を導出し，その についての値を C 言語，Java またはMatLab を用いて計算し，グラフを書け． 2008/4/24 物理フラクチュオマティクス論（東北大学）

30 物理フラクチュオマティクス論（東北大学）
演習問題３－２ 確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 X が状態 x をとり，かつ事象 Y が状態 y をとるという事象 (X=x)∩(Y=y) の確率分布 P(x,y) が により与えられるとき確率変数 X についての周辺確率 P(X) と共分散 Cov[X,Y] の表式を導出せよ． 2008/4/24 物理フラクチュオマティクス論（東北大学）

31 物理フラクチュオマティクス論（東北大学）
演習問題３－３ 確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 Y が状態 y をとるという条件のもとでの事象 X が状態 x をとるという事象 X=x の条件付き確率分布が 次の表式でも与えられることを示せ． ヒント：次の等式を用いる． cosh(c) は任意の実数 c に対して偶関数 2008/4/24 物理フラクチュオマティクス論（東北大学）

32 物理フラクチュオマティクス論（東北大学）
演習問題３－４ ガウス積分の公式を証明せよ． ヒント 2008/4/24 物理フラクチュオマティクス論（東北大学）

33 物理フラクチュオマティクス論（東北大学）
演習問題３－５ 確率変数 X が任意の実数 X をとる連続確率変数であり，その確率密度関数が で与えられるとき，平均 E[X] と分散 V[X] が次の表式で与えられることをガウス積分の公式を用いて証明せよ．またμ=0, σ=10, 20, 40 のときの p(x) の x に対する値を C 言語, Java または MatLabで計算し，グラフを書け． 2008/4/24 物理フラクチュオマティクス論（東北大学）

34 物理フラクチュオマティクス論（東北大学）
演習問題３－６ 一様分布 U(0,1) に従う乱数（一様乱数）を発生するプログラムを作成せよ．乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場合について書け． C 言語では rand() は0,1,2,…,randmax のなかのいずれかの値をランダムに生成される命令である．randmax の値は rand() の出力の最大値であり，システムによって異なる場合があるので注意． 2008/4/24 物理フラクチュオマティクス論（東北大学）

35 物理フラクチュオマティクス論（東北大学）
演習問題３－７ 平均 μ，分散 σ2 のガウス分布 N(μ,σ2) に従う乱数（ガウス乱数）を発生するプログラムを作成せよ．乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場合について書け． ヒント： 任意の確率分布に従って生成された n 個の乱数 x1,x2,…,xn に対して (x1+x2+…+xn )/n はn→+∞ で平均 μ，分散 σ2 のガウス分布 N(μ,σ2/n) に従う[中心極限定理より] 区間 [0,1] の一様分布 U[0,1] に従う乱数を12個 x1,x2,…,x12 発生させる． 平均 0, 分散 1 のガウス乱数 σξ+μが平均 μ, 分散 σ2 のガウス乱数 2008/4/24 物理フラクチュオマティクス論（東北大学）

36 物理フラクチュオマティクス論（東北大学）
演習問題３－８ 任意の自然数 d に対して d 行 d 列の正定値の実対称行列 C に対して次の d 次元ガウス積分の公式を証明せよ． ヒント： 行列 C の固有値 λi に対応する固有ベクトル (i=1,2,…,d) とすると行列 C は次のように対角化される 2008/4/24 物理フラクチュオマティクス論（東北大学）

37 物理フラクチュオマティクス論（東北大学）
演習問題 ３－９ 確率ベクトル変数 の各成分がいずれも任意の実数 をとる連続確率変数であり，正定値の実対称行列 C に対してその確率密度関数が により与えられるとき，その平均ベクトルが ，共分散行列 が C となることを示せ． 2008/4/24 物理フラクチュオマティクス論（東北大学）