電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2015年4月) 本実験DのWebpage: http://www.smapip.is.tohoku.ac.jp/~kazu/ECEI-ExperimentD/2015/ 東北大学 大学院情報科学研究科 田中 和之 kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/ April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 本講義の参考文献 田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006. 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009. 田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル」, サイエンス社，2006. 安田宗樹, 片岡駿，田中和之共著 (分担執筆): ---CVIMチュートリアルシリーズ--- コンピュータビジョン最先端ガイド3(八木康史，斎藤英雄編), 第6章．大規模確率場と確率的画像処理の深化と展開，pp.137-179, アドコム・メディア株式会社, December 2010. Kazuyuki Tanaka: Statistical-mechanical approach to image processing (Topical Review), Journal of Physics A: Mathematical and General, vol.35, no.37, pp.R81-R150, 2002. C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007. M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001. H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, ---An Introduction---, Oxford University Press, 2001. M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008. M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009. K. P. Murphy: Machine Learning: A Probabilistic Perspective, MIT Press, 2012. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] Contents 序論：確率的情報処理とベイジアンネットワーク 確率の基礎知識 確率的計算技法の基礎 ---マルコフ連鎖モンテカルロ法と確率伝搬法--- 確率的画像処理とベイジアンネットワーク ---マルコフ確率場と確率伝搬法--- 確率推論とベイジアンネットワーク ---グラフィカルモデルと確率伝搬法--- まとめ April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] まとめ 不確実さを伴う情報処理と確率 各種確率的情報処理 データのゆらぎをてなずける画像処理フィルター・確率推論システムの設計へ 詳細はhttp://www.smapip.is.tohoku.ac.jp/~kazu/SMAPIP-KazuKazu/ April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術課題 課題レポート提出方法：LaTeX で作成し，最終版を PDF に変換し，電子メール添付にて smapip-acstaff [at mark] smapip.is.tohoku.ac.jp 宛に送付． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 1 確率変数 X が ±1 の２値のみをとるものとして事象 X が状態 x をとるという事象 X=x の確率分布が により与えられるとき期待値 E[X] と分散 V[X] の表式を導出し，その についての値を C 言語，Java またはMatLab を用いて計算し，グラフを書け． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 2 確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 X が状態 x をとり，かつ事象 Y が状態 y をとり，という事象 (X=x)∩(Y=y) の確率分布 P(x,y) が により与えられるとき確率変数 X についての周辺確率 P(X) と共分散 Cov[X,Y] の表式を導出せよ． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 3 確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 Y が状態 y をとるという条件のもとでの事象 X が状態 x をとるという事象 X=x の条件付き確率分布が 次の表式でも与えられることを示せ． ヒント：次の等式を用いる． cosh(c) は任意の実数 c に対して偶関数 April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 4 ガウス積分の公式を証明せよ． ヒント April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 5 確率変数 X が任意の実数 X をとる連続確率変数であり，その確率密度関数が で与えられるとき，平均 E[X] と分散 V[X] が次の表式で与えられることをガウス積分の公式を用いて証明せよ．またμ=0, σ=10, 20, 40 のときの p(x) の x に対する値を C 言語, Java または MatLabで計算し，グラフを書け． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 6 一様分布 U(0,1) に従う乱数（一様乱数）を発生するプログラムを作成せよ．乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場合について書け． C 言語では rand() は0,1,2,…,randmax のなかのいずれかの値をランダムに生成される命令である．randmax の値は rand() の出力の最大値であり，システムによって異なる場合があるので注意． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 7 平均 μ，分散 σ2 のガウス分布 N(μ,σ2) に従う乱数（ガウス乱数）を発生するプログラムを作成せよ．乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場合について書け． ヒント： 任意の確率分布に従って生成された n 個の乱数 x1,x2,…,xn に対して (x1+x2+…+xn )/n はn→+∞ で平均 μ，分散 σ2/n のガウス分布 N(μ,σ2/n) に従う[中心極限定理] 区間 [0,1] の一様分布 U[0,1] に従う乱数を12個 x1,x2,…,x12 発生させる． 平均 0, 分散 1 のガウス乱数 σξ+μが平均 μ, 分散 σ2 のガウス乱数 April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 8 任意の自然数 d に対して d 行 d 列の正定値の実対称行列 C に対して次の d 次元ガウス積分の公式を証明せよ． 行列 C の固有値 λi に対応する固有ベクトル (i=1,2,…,d) とすると行列 C は次のように対角化される ヒント： April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 9 確率ベクトル変数 の各成分がいずれも任意の実数 をとる連続確率変数であり，正定値の実対称行列 C に対してその確率密度関数が により与えられるとき，その平均ベクトルが ，共分散行列 が C となることを示せ． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 10 非線形方程式 x=tanh(Cx) を反復法を用いて数値的に解くプログラムを作成し，C=0.5, 1.0, 2.0 に対する解を求めよ．また C=0.5, 1.0, 2.0 のそれぞれに対して y=tanh(Cx) と y=x のグラフを書き，C の値により非線形方程式 x=tanh(Cx) がどのような解を持ち，初期値 x0 により反復法がどのような解に収束するかについて議論せよ． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 11 詳細釣り合い および を満たすとき が成り立つことを示せ． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 12 推移確率行列が　　　　　　　により与えられるとき， その極限分布　　　　　　　　　　　　を求めよ． 但し，　　　　　　　　　　である． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 13 確率変数 a, b, c, d, x, y の確率分布 P(a,b,c,d,x,y) を考える． 確率変数 x, y の周辺確率分布 PXY(x,y) が次のように与えられることを示せ． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 14 以下の形に与えられる２つの周辺確率分布 を 　　　　　　　　　　　　　　 に代入することにより次の等式 を導出せよ． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 15 確率場 F=(F1,F2,…,F|V|)T および G=(G1,G2,…,G|V|)T およびその状態ベクトル変数f=(f1,f2,…,f|V|)T および g=(g1,g2,…,g|V|)Tから定義される事後確率 に対して が成り立つことを説明し，その上で次の等式が成り立つことを示せ． ZPosterior は規格化定数，Eはすべての最隣接頂点対の集合， ここで は画素 i のすべての最近接画素の集合を表す． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 16 以下の図で与えられる正方格子 L=Lx×Ly によるグラフのすべてのリンクからなる集合を B として各ノードの確率変数 Fi が 0,1,2,…,Q-1 の整数値をとり，結合確率が により与えられる無向グラフ上の確率モデルから互いに独立な状態 (f1,f2,…,fL) をランダムに N 個生成するプログラムをマルコフ連鎖モンテカルロ法により作成し，様々のαの値に対して数値実験を実行せよ． Q=256, α=0.0005 に対して生成されたサンプルの例 Q=2, α=2 に対して生成されたサンプルの例 L=Lx×Ly April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 17 各画素の階調値が 0 ,1,…Q-1 をとるQ階調の画像 f =(f1,f2,…,f|V|)T を読み込み各画像ごと独立に平均0，分散s2の加法的白色ガウスノイズ により劣化画像 g=(g1,g2,…,g|V|)T を生成するプログラムを作成し，数値実験を実行せよ．ここで，Vはすべての画素からなる集合である． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 18 各画素の階調値が 0 または 1 をとる2階調の画像 g =(g1,g2,…,g|V|)T を読み込み，これを劣化画像として原画像 f =(f1,f2,…,fL)T の事後確率 に対する確率伝搬法によりノイズを除去する（画像修復の）プログラムを作成し，数値実験を実行せよ．ZPosterior は規格化定数である． 具体的なアルゴリズムは 田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006． 田中和之: 統計力学を用いた確率的画像処理アルゴリズムの基礎 -- 確率伝搬法と統計力学 -- (解説), ミニ特集「ベイズ統計・統計力学と情報処理」, 計測自動制御学会誌「計測と制御」, Vol.42, No.8 (August 2003), pp.631-636. などを参照． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題18のヒント Step 1: 4L 個のメッセージについての連立非線形方程式 を反復法により数値的に解く． ２ １ ３ ４ ５ ２ １ ３ ４ ５ Step 2: 得られたメッセージを に代入し，原画像の推定値を により求める． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 19 各画素の階調値が 任意の実数値 をとる画像 g =(g1,g2,…,g|V|)T を読み込み，これを劣化画像として原画像 f =(f1,f2,…,f|V|)T の事後確率 に対する確率伝搬法によりノイズを除去する（画像修復の）プログラムを作成し，数値実験を実行せよ．ZPosterior は規格化定数である． 具体的なアルゴリズムは 田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006． を参照． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 20 以下の図と式の結合確率 Pr{X1,X2,…,X8} により与えられるベイジアンネットワークにおける各ノードごとに周辺確率 P(Xi) (i=1,2,…,8) の厳密な値を C 言語，Java または MatLab を用いて求めよ． 各条件付き確率表は 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009 のp.50の図3.12と表3.11の値を用いよ． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 21 以下の図と式の結合確率 Pr{X1,X2,…,X8} により与えられるベイジアンネットワークにおける各ノードごとに周辺確率 P(Xi) (i=1,2,…,8) の値を確率伝搬法により計算するプログラムを C 言語，Java または MatLab を用いて求めよ． 各条件付き確率表は「田中和之: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009」のp.50の図3.12と表3.11の値を用いよ． ヒント：具体的なアルゴリズムは「田中和之: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009」の7.2節参照． April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]