物理フラクチュオマティクス論 応用確率過程論 (2006年4月11日)

Presentation on theme: "物理フラクチュオマティクス論 応用確率過程論 (2006年4月11日)"— Presentation transcript:

1 物理フラクチュオマティクス論 応用確率過程論 (2006年4月11日)
東北大学 大学院情報科学研究科 田中 和之 本講義の田中和之助教授担当分のWebpage: 2006/4/11 物理フラクチュオマティクス論（東北大学）

2 物理フラクチュオマティクス論（東北大学）
試行と標本空間と事象 試行 (Experiment) ：ある操作を行って得られる可能性のある結果の全体はわかっているが，そのうちのいずれかが得られるかは予知できない操作 標本点 (Sample Point)：試行の結果得られる可能性のある個々の結果 標本空間 (Sample Space)：標本点の全体集合 事象 (Event)：標本空間の部分集合 根元事象 (Elementary Event)：１個の標本点だけからなる事象 空事象 (Empty Event)：標本点がない事象 2006/4/11 物理フラクチュオマティクス論（東北大学）

3 物理フラクチュオマティクス論（東北大学）
試行と標本空間と事象 「サイコロを１回振る」という試行の例 2006/4/11 物理フラクチュオマティクス論（東北大学）

4 物理フラクチュオマティクス論（東北大学）
全事象・余事象と差事象 「３の目がでない」 という事象は 「３の目がでる」 という事象の余事象 「３の目がでない」 という事象は 全事象と「３の目がでる」 という事象の差事象 2006/4/11 物理フラクチュオマティクス論（東北大学）

5 物理フラクチュオマティクス論（東北大学）
和事象 「奇数の目がでる」 という事象は 「１の目がでる」 という事象と 「３または５の目がでる」という事象の和事象 2006/4/11 物理フラクチュオマティクス論（東北大学）

6 物理フラクチュオマティクス論（東北大学）
積事象 「３または４の目がでる」 という事象は 「４以下の目がでる」 という事象と 「３以上の目がでる」という事象の積事象 2006/4/11 物理フラクチュオマティクス論（東北大学）

7 物理フラクチュオマティクス論（東北大学）
空事象 「３以下の目がでる」 という事象と 「４以上の目がでる」という事象の積事象は空事象である． 「３以下の目がでる」 という事象と 「４以上の目がでる」という事象は互いに排反であるという． 2006/4/11 物理フラクチュオマティクス論（東北大学）

8 物理フラクチュオマティクス論（東北大学）
様々の事象のまとめ 全事象: Ω 事象 A の余事象(Complementary Event): Ac=Ω╲A 事象 A と B の差事象: A╲B 事象 A と B の和事象 (Union of Event): A∪B 事象 A と B の積事象 (Intersection of Event): A∩B 事象 A と B が互いに排反 (Disjoint): A∩B=Ф 事象 A, B, C が互いに排反 (Disjoint): [A∩B=Ф]Λ[B∩C=Ф]Λ[C∩A=Ф] 2006/4/11 物理フラクチュオマティクス論（東北大学）

9 物理フラクチュオマティクス論（東北大学）
確率の定義 Laplace による定義: 起こりうる標本点の総数が N 個あり，それらは同様に確からしい(Equally Likely)と仮定する．ある事象Aの標本点の個数が n 個であれば事象 A の起こる確率(Probability) は p=n/N と定義する． 統計的定義: ある試行を R 回繰り返し行う．事象 Aの起こる回数を r とする．試行の回数 R を増やしていくとき，r/R が一定の値 p に近づくならば，事象 A の起こる確率(Probability) を p と定義する． 2006/4/11 物理フラクチュオマティクス論（東北大学）

10 物理フラクチュオマティクス論（東北大学）
確率の定義 Kolmogorov による定義: 標本空間Ωから定義される任意の事象 A に対して確率 (Probability) Pr{A} は次の３つの公理を満たすものとして定義される． 確率の公理1. 任意の事象 A に対して 確率の公理2. 全事象Ωに対して 確率の公理3. 任意の2つの互いに排反な事象 A, B に対して 2006/4/11 物理フラクチュオマティクス論（東北大学）

11 物理フラクチュオマティクス論（東北大学）
確率の定義 公理2. 全事象Ωに対して 2006/4/11 物理フラクチュオマティクス論（東北大学）

12 物理フラクチュオマティクス論（東北大学）
確率の定義 公理3. 任意の2つの互いに排反な事象 A, B に対して 2006/4/11 物理フラクチュオマティクス論（東北大学）

13 物理フラクチュオマティクス論（東北大学）
結合確率と条件付き確率 事象Aの起こる確率 事象 A と事象 B の結合確率 条件付き確率と結合確率 A B 2006/4/11 物理フラクチュオマティクス論（東北大学）

14 物理フラクチュオマティクス論（東北大学）
結合確率と事象の独立性 事象 A と事象 B が互いに独立である 事象 A と事象 B が互いに独立であるときの 条件付き確率 A B A B 2006/4/11 物理フラクチュオマティクス論（東北大学）

15 物理フラクチュオマティクス論（東北大学）
周辺確率 標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表されるとき Ai B 結合確率 Pr{Ai,B} における事象 B の周辺確率　(Marginal Probability) 周辺化 簡略表記 A B 事象 A の取り得るすべての互いに排反な事象についての和 2006/4/11 物理フラクチュオマティクス論（東北大学）

16 物理フラクチュオマティクス論（東北大学）
結合確率と周辺確率 事象 B の周辺確率 A B C D 周辺化 2006/4/11 物理フラクチュオマティクス論（東北大学）

17 ベイズの公式 (Bayes Formula)
事前確率 (A Priori Probability) A B 事後確率 (A Posteriori Probability) Bayes 規則 (Bayes Rule) とも言う． ベイジアンネットワーク 2006/4/11 物理フラクチュオマティクス論（東北大学）

18 物理フラクチュオマティクス論（東北大学）
ベイズの公式の導出 A B 2006/4/11 物理フラクチュオマティクス論（東北大学）

19 物理フラクチュオマティクス論（東北大学）
ベイズの公式による確率的推論の例 A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない． 教授には美人の秘書がいるが，よく観察してみると，教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない． 教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である． 秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論することができる. 甘利俊一：情報理論 (ダイヤモンド社，1970) より 2006/4/11 物理フラクチュオマティクス論（東北大学）

20 物理フラクチュオマティクス論（東北大学）
確率と確率変数 各事象に番号を割り当て，その番号に対する変数を導入する．この変数を確率変数 (Random Variable)という． 「奇数の目がでる」という事象に「X=1」という等式を対応させることができる． 2006/4/11 物理フラクチュオマティクス論（東北大学）

21 物理フラクチュオマティクス論（東北大学）
確率と確率変数 標本空間から構成されたすべての事象 A に実数値 X(A) を１対１対応させる写像を考える．この写像 X(A) を事象 A の確率変数 (Random Variable) という．通常, 確率変数 X(A) は A を省略し，単に X と表される． 確率変数 X が実数値 x をとる事象 X=x の確率を Pr{X=x} と表す．このとき x をその確率変数の実現値または状態 (State)という．起こりうる状態の集合を状態空間 (State Space)という． ２つの事象X=x および X=x’ が互いに排反であるとき状態 x と状態 x’ は互いに排反であるという． 2006/4/11 物理フラクチュオマティクス論（東北大学）

22 物理フラクチュオマティクス論（東北大学）
離散確率変数と連続確率変数 離散確率変数 (Discrete Random Variable): 　　　　　離散的な状態空間をもつ確率変数 　　　　　　　　　　例：{x1,x2,…,xM} 連続確率変数 (Continuous Random Variable): 　　　　　連続的な状態空間をもつ確率変数 　　　　　　　　　　例：(−∞,+∞) 2006/4/11 物理フラクチュオマティクス論（東北大学）

23 物理フラクチュオマティクス論（東北大学）
離散確率変数と確率分布 標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表され，確率変数 X がM 個の状態 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義されるとき すべて事象 X=x1, X=x2,…, X=xM の起こる確率 が変数 x の関数 P(x) を用いて 確率変数 状態変数 状態 と表されるとき, P(x) を確率変数 X の確率分布 (Probability Distribution) ，x を状態変数 (State Variable) という． 2006/4/11 物理フラクチュオマティクス論（東北大学）

24 物理フラクチュオマティクス論（東北大学）
離散確率変数の確率分布の性質 いずれも確率の公理１，２，３から導かれる． 規格化条件(Normalization Condition) 2006/4/11 物理フラクチュオマティクス論（東北大学）

25 物理フラクチュオマティクス論（東北大学）
離散確率変数の期待値と分散 確率変数 X の期待値 (Expected Value，平均: Average)μ 確率変数 X の分散 (Variance) σ2 σ：標準偏差 (Standard Deviation) 2006/4/11 物理フラクチュオマティクス論（東北大学）

26 物理フラクチュオマティクス論（東北大学）
離散確率変数の結合確率分布 ２種類の確率変数 X, Y に対して，事象 X=x と事象 Y=y 結合事象 (X=x)∩(Y=y)の起こる確率 Pr{(X=x)∩(Y=y)}= Pr{X=x,Y=y} が関数 P(x,y) を用いて と表されるとき, P(x,y) を確率変数 X と Y の結合確率分布 (Joint Probability Distribution) という． 確率ベクトル変数 状態ベクトル変数 2006/4/11 物理フラクチュオマティクス論（東北大学）

27 物理フラクチュオマティクス論（東北大学）
離散確率変数の周辺確率分布 標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表され，離散確率変数 X がM 個の実数値 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義されるとき 確率変数 Y の 周辺確率分布 (Marginal Probability Distribution) 簡略表記 状態空間における互いに排反な取り得るすべての状態 x についての和 規格化条件 (Normalization Condition) 2006/4/11 物理フラクチュオマティクス論（東北大学）

28 物理フラクチュオマティクス論（東北大学）
離散確率変数の周辺確率分布 より高次元への拡張 確率変数 Y の周辺確率分布 (Marginal Probability Distribution) X Y Z U 周辺化 (Marginalize) 2006/4/11 物理フラクチュオマティクス論（東北大学）

29 物理フラクチュオマティクス論（東北大学）
離散確率変数の独立性 確率変数 X と Y が互いに独立である： 確率変数 Y の確率分布 確率変数 X と Y の結合確率分布 確率変数 X の確率分布 確率変数 Y の周辺確率分布 2006/4/11 物理フラクチュオマティクス論（東北大学）

30 物理フラクチュオマティクス論（東北大学）
離散確率変数の共分散 確率変数 X と Y の共分散 (Covariance) 共分散行列 (Covariance Matrix) 2006/4/11 物理フラクチュオマティクス論（東北大学）

31 物理フラクチュオマティクス論（東北大学）
離散確率変数の確率分布の例 a E[X] 2006/4/11 物理フラクチュオマティクス論（東北大学）

32 物理フラクチュオマティクス論（東北大学）
離散確率変数の結合確率分布の例 a Cov[X,Y] 2006/4/11 物理フラクチュオマティクス論（東北大学）

33 物理フラクチュオマティクス論（東北大学）
離散確率変数の条件付き確率分布の例 ２元対称通信路の 条件付き確率分布 2006/4/11 物理フラクチュオマティクス論（東北大学）

34 物理フラクチュオマティクス論（東北大学）
連続確率変数の確率 確率変数 X の状態空間 (−∞,+∞) において状態 x が区間 (a,b) にある確率 確率変数 X の分布関数(Distribution Function) 確率変数 X の確率密度関数 (Probability Density Function) 2006/4/11 物理フラクチュオマティクス論（東北大学）

35 物理フラクチュオマティクス論（東北大学）
連続確率変数の確率密度関数の性質 規格化条件(Normalization Condition) 2006/4/11 物理フラクチュオマティクス論（東北大学）

36 物理フラクチュオマティクス論（東北大学）
連続確率変数の期待値と分散 確率変数 X の期待値 (平均) 確率変数 X の分散 2006/4/11 物理フラクチュオマティクス論（東北大学）

37 物理フラクチュオマティクス論（東北大学）
連続確率変数の結合確率密度関数 確率変数 X と Y の状態空間 (−∞,+∞) において状態 x と y が区間 (a,b)×(c,d) にある確率 結合確率密度関数 (Joint Probability Density Function) 規格化条件 (Normalization Condition) 2006/4/11 物理フラクチュオマティクス論（東北大学）

38 物理フラクチュオマティクス論（東北大学）
連続確率変数の周辺確率密度関数 確率変数 Y の 周辺確率密度関数 (Marginal Probability Density Function) 2006/4/11 物理フラクチュオマティクス論（東北大学）

39 物理フラクチュオマティクス論（東北大学）
連続確率変数の独立性 確率変数 X と Y が互いに独立である： 確率変数 Y の確率密度関数 確率変数 X と Y の 結合確率密度関数 確率変数 X の確率密度関数 確率変数 Y の 周辺確率密度関数 2006/4/11 物理フラクチュオマティクス論（東北大学）

40 物理フラクチュオマティクス論（東北大学）
連続確率変数の共分散 確率変数 X と Y の共分散 (Covariance) 共分散行列 (Covariance Matrix) 2006/4/11 物理フラクチュオマティクス論（東北大学）

41 物理フラクチュオマティクス論（東北大学）
一様分布 U(a,b) 一様分布 (Uniform Distribution) の確率密度関数 p(x) x a b (b-a)-1 2006/4/11 物理フラクチュオマティクス論（東北大学）

42 物理フラクチュオマティクス論（東北大学）
ガウス分布（正規分布） N(μ,σ2) 平均μ，分散σ2 のガウス分布 (Gaussian Distribution) の確率密度関数 p(x) μ x 平均と分散はガウス積分の公式 (Gaussian Integral Formula) から導かれる 2006/4/11 物理フラクチュオマティクス論（東北大学）

43 物理フラクチュオマティクス論（東北大学）
多次元ガウス分布 ２次元ガウス分布 (Two-Dimensional Gaussian Distribution) の確率密度関数 行列 C が共分散行列になる． d 次元ガウス積分の公式から導かれる 一般の次元への拡張も同様 2006/4/11 物理フラクチュオマティクス論（東北大学）

44 物理フラクチュオマティクス論（東北大学）
確率の基礎知識のまとめ 事象と確率 結合確率と条件付き確率 ベイズの公式と事前確率，事後確率 離散確率変数と確率分布 連続確率変数と確率密度関数 期待値，分散，共分散 一様分布 ガウス分布 2006/4/11 物理フラクチュオマティクス論（東北大学）