電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 2(2014年4月)

Presentation on theme: "電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 2(2014年4月)"— Presentation transcript:

1 電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 2(2014年4月)
本実験DのWebpage: 東北大学 大学院情報科学研究科 田中 和之 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

2 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
本講義の参考文献 田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006. 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009. 田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル」, サイエンス社，2006. 安田宗樹, 片岡駿，田中和之共著 (分担執筆): ---CVIMチュートリアルシリーズ--- コンピュータビジョン最先端ガイド3(八木康史，斎藤英雄編), 第6章．大規模確率場と確率的画像処理の深化と展開，pp , アドコム・メディア株式会社, December 2010. Kazuyuki Tanaka: Statistical-mechanical approach to image processing (Topical Review), Journal of Physics A: Mathematical and General, vol.35, no.37, pp.R81-R150, 2002. C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007. M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001. H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, ---An Introduction---, Oxford University Press, 2001. M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008. M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009. April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

3 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
Contents 序論：確率的情報処理とベイジアンネットワーク 確率の基礎知識 確率的計算技法の基礎 ---マルコフ連鎖モンテカルロ法と確率伝搬法--- 確率的画像処理とベイジアンネットワーク ---マルコフ確率場と確率伝搬法--- 確率推論とベイジアンネットワーク---グラフィカルモデルと確率伝搬法--- まとめ April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

4 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
試行と標本空間と事象 試行 (Experiment) ：ある操作を行って得られる可能性のある結果の全体はわかっているが，そのうちのいずれかが得られるかは予知できない操作 標本点 (Sample Point)：試行の結果得られる可能性のある個々の結果 標本空間 (Sample Space)：標本点の全体集合 事象 (Event)：標本空間の部分集合 根元事象 (Elementary Event)：１個の標本点だけからなる事象 空事象 (Empty Event)：標本点がない事象 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

5 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
試行と標本空間と事象 「サイコロを１回振る」という試行の例 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

6 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
全事象・余事象と差事象 「３の目がでない」 という事象は 「３の目がでる」 という事象の余事象 「３の目がでない」 という事象は 全事象と「３の目がでる」 という事象の差事象 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

7 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
和事象 「奇数の目がでる」 という事象は 「１の目がでる」 という事象と 「３または５の目がでる」という事象の和事象 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

8 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
積事象 「３または４の目がでる」 という事象は 「４以下の目がでる」 という事象と 「３以上の目がでる」という事象の積事象 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

9 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
空事象 「３以下の目がでる」 という事象と 「４以上の目がでる」という事象の積事象は空事象である． 「３以下の目がでる」 という事象と 「４以上の目がでる」という事象は互いに排反であるという． April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

10 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
様々の事象のまとめ 全事象: W 事象 A の余事象(Complementary Event): Ac=W╲A 事象 A と B の差事象: A╲B 事象 A と B の和事象 (Union of Event): A∪B 事象 A と B の積事象 (Intersection of Event): A∩B 事象 A と B が互いに排反 (Disjoint): A∩B=f 事象 A, B, C が互いに排反 (Disjoint): [A∩B=f]Λ[B∩C=f]Λ[C∩A=f] April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

11 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
確率の定義 Laplace による定義: 起こりうる標本点の総数が N 個あり，それらは同様に確からしい(Equally Likely)と仮定する．ある事象Aの標本点の個数が n 個であれば事象 A の起こる確率(Probability) は p=n/N と定義する． 統計的定義: ある試行を R 回繰り返し行う．事象 Aの起こる回数を r とする．試行の回数 R を増やしていくとき，r/R が一定の値 p に近づくならば，事象 A の起こる確率(Probability) を p と定義する． April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

12 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
確率の定義 Kolmogorov による定義: 標本空間Ωから定義される任意の事象 A に対して確率 (Probability) Pr{A} は次の３つの公理を満たすものとして定義される． 確率の公理1. 任意の事象 A に対して 確率の公理2. 全事象Ωに対して 確率の公理3. 任意の2つの互いに排反な事象 A, B に対して April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

13 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
確率の定義 公理2. 全事象Ωに対して April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

14 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
確率の定義 公理3. 任意の2つの互いに排反な事象 A, B に対して April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

15 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
結合確率と条件付き確率 事象Aの起こる確率 事象 A と事象 B の結合確率 条件付き確率と結合確率 A B April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

16 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
結合確率と事象の独立性 事象 A と事象 B が互いに独立である 事象 A と事象 B が互いに独立であるときの 条件付き確率 A B A B April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

17 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
周辺確率 標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表されるとき Ai B 結合確率 Pr{Ai,B} における事象 B の周辺確率　(Marginal Probability) 周辺化 簡略表記 A B 事象 A の取り得るすべての互いに排反な事象についての和 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

18 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
結合確率と周辺確率 事象 B の周辺確率 A B C D 周辺化 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

19 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式の導出 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

20 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式の導出 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

21 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式の導出 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

22 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式の導出 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

23 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式の導出 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

24 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式の導出 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

25 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式の導出 A B April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

26 ベイズの公式 (Bayes Formula)
事前確率 (A Priori Probability) A B 事後確率 (A Posteriori Probability) Bayes 規則 (Bayes Rule) とも言う． ベイジアンネットワーク April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

27 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式による確率的推論の例 A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない． 教授には美人の秘書がいるが，よく観察してみると，教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない． 教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である． 秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論することができる. 甘利俊一：情報理論 (ダイヤモンド社，1970) より April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

28 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式による確率的推論の例（２） 教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない． 教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない． 教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である． April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

29 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式による確率的推論の例（２） 教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない． 教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない． 教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である． April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

30 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式による確率的推論の例（３） April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

31 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式による確率的推論の例（３） April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

32 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式による確率的推論の例（３） April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

33 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
ベイズの公式による確率的推論の例（４） April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

34 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
確率と確率変数 各事象に番号を割り当て，その番号に対する変数を導入する．この変数を確率変数 (Random Variable)という． 「奇数の目がでる」という事象に「X=1」という等式を対応させることができる． April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

35 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
確率と確率変数 標本空間から構成されたすべての事象 A に実数値 X(A) を１対１対応させる写像を考える．この写像 X(A) を事象 A の確率変数 (Random Variable) という．通常, 確率変数 X(A) は A を省略し，単に X と表される． 確率変数 X が実数値 x をとる事象 X=x の確率を Pr{X=x} と表す．このとき x をその確率変数の実現値または状態 (State)という．起こりうる状態の集合を状態空間 (State Space)という． ２つの事象X=x および X=x’ が互いに排反であるとき状態 x と状態 x’ は互いに排反であるという． April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

36 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数と連続確率変数 離散確率変数 (Discrete Random Variable): 　　　　　離散的な状態空間をもつ確率変数 　　　　　　　　　　例：{x1,x2,…,xM} 連続確率変数 (Continuous Random Variable): 　　　　　連続的な状態空間をもつ確率変数 　　　　　　　　　　例：(−∞,+∞) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

37 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数と確率分布 標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表され，確率変数 X がM 個の状態 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義されるとき すべて事象 X=x1, X=x2,…, X=xM の起こる確率 が変数 x の関数 P(x) を用いて 確率変数 状態変数 状態 と表されるとき, P(x) を確率変数 X の確率分布 (Probability Distribution) ，x を状態変数 (State Variable) という． April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

38 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数の確率分布の性質 いずれも確率の公理１，２，３から導かれる． 規格化条件(Normalization Condition) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

39 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数の期待値と分散 確率変数 X の期待値 (Expected Value，平均: Average)μ 確率変数 X の分散 (Variance) σ2 σ：標準偏差 (Standard Deviation) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

40 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数の結合確率分布 ２種類の確率変数 X, Y に対して，事象 X=x と事象 Y=y 結合事象 (X=x)∩(Y=y)の起こる確率 Pr{(X=x)∩(Y=y)}= Pr{X=x,Y=y} が関数 P(x,y) を用いて と表されるとき, P(x,y) を確率変数 X と Y の結合確率分布 (Joint Probability Distribution) という． 確率ベクトル変数 状態ベクトル変数 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

41 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数の周辺確率分布 標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって Ω=A1∪A2∪…∪AM と表され，離散確率変数 X がM 個の実数値 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義されるとき 確率変数 Y の 周辺確率分布 (Marginal Probability Distribution) 簡略表記 状態空間における互いに排反な取り得るすべての状態 x についての和 規格化条件 (Normalization Condition) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

42 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数の周辺確率分布 より高次元への拡張 確率変数 Y の周辺確率分布 (Marginal Probability Distribution) X Y Z U 周辺化 (Marginalize) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

43 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数の独立性 確率変数 X と Y が互いに独立である： 確率変数 Y の確率分布 確率変数 X と Y の結合確率分布 確率変数 X の確率分布 確率変数 Y の周辺確率分布 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

44 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数の共分散 確率変数 X と Y の共分散 (Covariance) 共分散行列 (Covariance Matrix) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

45 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数の確率分布の例 a E[X] April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

46 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数の結合確率分布の例 a Cov[X,Y] April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

47 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
離散確率変数の条件付き確率分布の例 ２元対称通信路の 条件付き確率分布 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

48 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
連続確率変数の確率 確率変数 X の状態空間 (−∞,+∞) において状態 x が区間 (a,b) にある確率 確率変数 X の分布関数(Distribution Function) 確率変数 X の確率密度関数 (Probability Density Function) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

49 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
連続確率変数の確率密度関数の性質 規格化条件(Normalization Condition) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

50 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
連続確率変数の期待値と分散 確率変数 X の期待値 (平均) 確率変数 X の分散 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

51 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
連続確率変数の結合確率密度関数 確率変数 X と Y の状態空間 (−∞,+∞) において状態 x と y が区間 (a,b)×(c,d) にある確率 結合確率密度関数 (Joint Probability Density Function) 規格化条件 (Normalization Condition) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

52 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
連続確率変数の周辺確率密度関数 確率変数 Y の 周辺確率密度関数 (Marginal Probability Density Function) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

53 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
連続確率変数の独立性 確率変数 X と Y が互いに独立である： 確率変数 Y の確率密度関数 確率変数 X と Y の 結合確率密度関数 確率変数 X の確率密度関数 確率変数 Y の 周辺確率密度関数 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

54 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
連続確率変数の共分散 確率変数 X と Y の共分散 (Covariance) 共分散行列 (Covariance Matrix) April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

55 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
一様分布 U(a,b) 一様分布 (Uniform Distribution) の確率密度関数 p(x) x a b (b-a)-1 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

56 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
平均μ，分散σ2 のガウス分布 (Gaussian Distribution) の確率密度関数 s>0 p(x) μ x 平均と分散はガウス積分の公式 (Gaussian Integral Formula) から導かれる April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

57 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
多次元ガウス分布 ２次元ガウス分布 (Two-Dimensional Gaussian Distribution) の確率密度関数 行列 C が共分散行列になる． 行列 C は正定値の実対称行列 d 次元ガウス積分の公式から導かれる 一般の次元への拡張も同様 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

58 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
大数の法則 X1,X2,...,Xn は平均 m, 分散 s2 の互いに独立な同一の確率変数であるとき 中心極限定理 X1,X2,...,Xn は平均 m, 分散 s2 の互いに独立な同一の確率変数であるとき は n が大きいとき平均 m, 分散 s2/n の正規分布に従う． April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]

59 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]
確率の基礎知識のまとめ 事象と確率 結合確率と条件付き確率 ベイズの公式と事前確率，事後確率 離散確率変数と確率分布 連続確率変数と確率密度関数 期待値，分散，共分散 一様分布 ガウス分布 大数の法則と中心極限定理 April, 2014 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 2]