電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2015年4月)

Slides:



Advertisements
Similar presentations
放射線の計算や測定における統計誤 差 「平均の誤差」とその応用( 1H) 2 項分布、ポアソン分布、ガウス分布 ( 1H ) 最小二乗法( 1H )
Advertisements

第1回 確率変数、確率分布 確率・統計Ⅰ ここです! 確率変数と確率分布 確率変数の同時分布、独立性 確率変数の平均 確率変数の分散
数理統計学(第四回) 分散の性質と重要な法則
確率・統計Ⅰ 第11回 i.i.d.の和と大数の法則 ここです! 確率論とは 確率変数、確率分布 確率変数の独立性 / 確率変数の平均
統計解析 第9回 第9章 正規分布、第11章 理論分布.
上坂吉則 尾関和彦 文一総合出版 宮崎大輔2003年6月28日(土)
クラスター変分法と確率的情報処理 --Belief Propagation と画像処理アルゴリズム--
確率モデルによる 画像処理技術入門 --- ベイズ統計と確率的画像処理 ---
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2014年4月)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎 第1部講義(2009年4月)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎 第3部講義(2007年6月19日,6月26日)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2012年4月)
正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
確率・統計Ⅰ 第3回 確率変数の独立性 / 確率変数の平均 ここです! 確率論とは 確率変数、確率分布 確率変数の独立性 / 確率変数の平均
はじめに: 平均場理論を用いた情報処理の最近の動向
電気・通信・電子・情報工学実験D 確率的情報処理の基礎 第1部講義(2008年4月15日,4月22日,5月6日)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
確率論の基礎 「ロジスティクス工学」 第3章 鞭効果 第4章 確率的在庫モデル 補助資料
確率伝搬法と量子系の平均場理論 田中和之 東北大学大学院情報科学研究科
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- 2003年8月14日後半
確率的情報処理と確率伝搬法によるアルゴリズム設計の数理構造
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 2(2014年4月)
ベイジアンネットと確率推論 変分原理からの再帰的確率推論アルゴリズムの解説
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2013年4月)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎 第1部講義(2007年4月16日,4月17日,4月24日,5月10日)
量子系における 確率推論の平均場理論 田中和之 東北大学大学院情報科学研究科
電気・通信・電子・情報工学実験D 確率的情報処理の基礎 第1部講義(2006年4月17日,4月18日,4月25日,5月9日)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
確率的情報処理の最近の動向 東北大学 大学院情報科学研究科 田中 和之
統計解析 第1回 条件付き独立性と確率的グラフィカルモデル 本講義の全体像
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
確率を手なづける秘伝の計算技法 ~古くて新しい確率・統計モデルのパラダイム~ その2:ベイジアンネットと確率推論の数理
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
ガウシアン確率伝搬法の 近似精度に対する理論解析
ベイジアンネットワーク概説 Loopy Belief Propagation 茨城大学工学部 佐々木稔
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
第3章 線形回帰モデル 修士1年 山田 孝太郎.
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 4 (2015年4月)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
物理フラクチュオマティクス論 応用確率過程論 (2006年5月9日)
確率的画像処理アルゴリズム入門 東北大学 大学院情報科学研究科 田中 和之
確率の生み出す新しい情報処理技術 東北大学 大学院情報科学研究科 田中 和之
東北大 情報科学 田中和之,吉池紀子 山口大 工 庄野逸 理化学研究所 岡田真人
京大院情報学研究科 Graduate School of Informatics, Kyoto University
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 5 (2012年4月)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
人工知能特論II 第8回 二宮 崇.
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 3 (2013年4月)
ポッツスピン型隠れ変数による画像領域分割
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
ガウス分布における ベーテ近似の理論解析 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
物理フラクチュオマティクス論 応用確率過程論 (2006年4月11日)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- 2003年8月14日前半
領域ベースの隠れ変数を用いた決定論的画像領域分割
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
ゆらぎが生み出す新しい情報処理技術 確率伝搬法と確率的画像処理
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 5 (2013年4月)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 1(2013年4月)
Q状態イジング模型を用いた多値画像修復における 周辺尤度最大化によるハイパパラメータ推定
ガウシアングラフィカルモデルにおける一般化された確率伝搬法
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 4 (2012年4月)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2019年4月)
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2015年4月) 本実験DのWebpage: http://www.smapip.is.tohoku.ac.jp/~kazu/ECEI-ExperimentD/2015/ 東北大学 大学院情報科学研究科 田中 和之 kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/ April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 本講義の参考文献 田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006. 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009. 田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル」, サイエンス社,2006. 安田宗樹, 片岡駿,田中和之共著 (分担執筆): ---CVIMチュートリアルシリーズ--- コンピュータビジョン最先端ガイド3(八木康史,斎藤英雄編), 第6章.大規模確率場と確率的画像処理の深化と展開,pp.137-179, アドコム・メディア株式会社, December 2010. Kazuyuki Tanaka: Statistical-mechanical approach to image processing (Topical Review), Journal of Physics A: Mathematical and General, vol.35, no.37, pp.R81-R150, 2002. C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007. M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001. H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, ---An Introduction---, Oxford University Press, 2001. M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008. M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009. K. P. Murphy: Machine Learning: A Probabilistic Perspective, MIT Press, 2012. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] Contents 序論:確率的情報処理とベイジアンネットワーク 確率の基礎知識 確率的計算技法の基礎 ---マルコフ連鎖モンテカルロ法と確率伝搬法--- 確率的画像処理とベイジアンネットワーク ---マルコフ確率場と確率伝搬法--- 確率推論とベイジアンネットワーク ---グラフィカルモデルと確率伝搬法--- まとめ April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] まとめ 不確実さを伴う情報処理と確率 各種確率的情報処理 データのゆらぎをてなずける画像処理フィルター・確率推論システムの設計へ 詳細はhttp://www.smapip.is.tohoku.ac.jp/~kazu/SMAPIP-KazuKazu/ April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術課題 課題レポート提出方法:LaTeX で作成し,最終版を PDF に変換し,電子メール添付にて smapip-acstaff [at mark] smapip.is.tohoku.ac.jp 宛に送付. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 1 確率変数 X が ±1 の2値のみをとるものとして事象 X が状態 x をとるという事象 X=x の確率分布が により与えられるとき期待値 E[X] と分散 V[X] の表式を導出し,その についての値を C 言語,Java またはMatLab を用いて計算し,グラフを書け. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 2 確率変数 X と Y がいずれも ±1 の2値のみをとるものとして事象 X が状態 x をとり,かつ事象 Y が状態 y をとり,という事象 (X=x)∩(Y=y) の確率分布 P(x,y) が により与えられるとき確率変数 X についての周辺確率 P(X) と共分散 Cov[X,Y] の表式を導出せよ. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 3 確率変数 X と Y がいずれも ±1 の2値のみをとるものとして事象 Y が状態 y をとるという条件のもとでの事象 X が状態 x をとるという事象 X=x の条件付き確率分布が 次の表式でも与えられることを示せ. ヒント:次の等式を用いる. cosh(c) は任意の実数 c に対して偶関数 April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 4 ガウス積分の公式を証明せよ. ヒント April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 5 確率変数 X が任意の実数 X をとる連続確率変数であり,その確率密度関数が で与えられるとき,平均 E[X] と分散 V[X] が次の表式で与えられることをガウス積分の公式を用いて証明せよ.またμ=0, σ=10, 20, 40 のときの p(x) の x に対する値を C 言語, Java または MatLabで計算し,グラフを書け. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 6 一様分布 U(0,1) に従う乱数(一様乱数)を発生するプログラムを作成せよ.乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場合について書け. C 言語では rand() は0,1,2,…,randmax のなかのいずれかの値をランダムに生成される命令である.randmax の値は rand() の出力の最大値であり,システムによって異なる場合があるので注意. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 7 平均 μ,分散 σ2 のガウス分布 N(μ,σ2) に従う乱数(ガウス乱数)を発生するプログラムを作成せよ.乱数を N 個発生させた場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場合について書け. ヒント: 任意の確率分布に従って生成された n 個の乱数 x1,x2,…,xn に対して (x1+x2+…+xn )/n はn→+∞ で平均 μ,分散 σ2/n のガウス分布 N(μ,σ2/n) に従う[中心極限定理] 区間 [0,1] の一様分布 U[0,1] に従う乱数を12個 x1,x2,…,x12 発生させる. 平均 0, 分散 1 のガウス乱数 σξ+μが平均 μ, 分散 σ2 のガウス乱数 April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 8 任意の自然数 d に対して d 行 d 列の正定値の実対称行列 C に対して次の d 次元ガウス積分の公式を証明せよ. 行列 C の固有値 λi に対応する固有ベクトル (i=1,2,…,d) とすると行列 C は次のように対角化される ヒント: April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 9 確率ベクトル変数 の各成分がいずれも任意の実数 をとる連続確率変数であり,正定値の実対称行列 C に対してその確率密度関数が により与えられるとき,その平均ベクトルが ,共分散行列 が C となることを示せ. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 10 非線形方程式 x=tanh(Cx) を反復法を用いて数値的に解くプログラムを作成し,C=0.5, 1.0, 2.0 に対する解を求めよ.また C=0.5, 1.0, 2.0 のそれぞれに対して y=tanh(Cx) と y=x のグラフを書き,C の値により非線形方程式 x=tanh(Cx) がどのような解を持ち,初期値 x0 により反復法がどのような解に収束するかについて議論せよ. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 11 詳細釣り合い および を満たすとき が成り立つことを示せ. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 12 推移確率行列が       により与えられるとき, その極限分布            を求めよ. 但し,          である. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 13 確率変数 a, b, c, d, x, y の確率分布 P(a,b,c,d,x,y) を考える. 確率変数 x, y の周辺確率分布 PXY(x,y) が次のように与えられることを示せ. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 14 以下の形に与えられる2つの周辺確率分布 を                に代入することにより次の等式 を導出せよ. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 15 確率場 F=(F1,F2,…,F|V|)T および G=(G1,G2,…,G|V|)T およびその状態ベクトル変数f=(f1,f2,…,f|V|)T および g=(g1,g2,…,g|V|)Tから定義される事後確率 に対して が成り立つことを説明し,その上で次の等式が成り立つことを示せ. ZPosterior は規格化定数,Eはすべての最隣接頂点対の集合, ここで は画素 i のすべての最近接画素の集合を表す. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 16 以下の図で与えられる正方格子 L=Lx×Ly によるグラフのすべてのリンクからなる集合を B として各ノードの確率変数 Fi が 0,1,2,…,Q-1 の整数値をとり,結合確率が により与えられる無向グラフ上の確率モデルから互いに独立な状態 (f1,f2,…,fL) をランダムに N 個生成するプログラムをマルコフ連鎖モンテカルロ法により作成し,様々のαの値に対して数値実験を実行せよ. Q=256, α=0.0005 に対して生成されたサンプルの例 Q=2, α=2 に対して生成されたサンプルの例 L=Lx×Ly April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 17 各画素の階調値が 0 ,1,…Q-1 をとるQ階調の画像 f =(f1,f2,…,f|V|)T を読み込み各画像ごと独立に平均0,分散s2の加法的白色ガウスノイズ により劣化画像 g=(g1,g2,…,g|V|)T を生成するプログラムを作成し,数値実験を実行せよ.ここで,Vはすべての画素からなる集合である. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 18 各画素の階調値が 0 または 1 をとる2階調の画像 g =(g1,g2,…,g|V|)T を読み込み,これを劣化画像として原画像 f =(f1,f2,…,fL)T の事後確率 に対する確率伝搬法によりノイズを除去する(画像修復の)プログラムを作成し,数値実験を実行せよ.ZPosterior は規格化定数である. 具体的なアルゴリズムは 田中和之著: 確率モデルによる画像処理技術入門,森北出版,2006. 田中和之: 統計力学を用いた確率的画像処理アルゴリズムの基礎 -- 確率伝搬法と統計力学 -- (解説), ミニ特集「ベイズ統計・統計力学と情報処理」, 計測自動制御学会誌「計測と制御」, Vol.42, No.8 (August 2003), pp.631-636. などを参照. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題18のヒント Step 1: 4L 個のメッセージについての連立非線形方程式 を反復法により数値的に解く. 2 1 3 4 5 2 1 3 4 5 Step 2: 得られたメッセージを に代入し,原画像の推定値を により求める. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 19 各画素の階調値が 任意の実数値 をとる画像 g =(g1,g2,…,g|V|)T を読み込み,これを劣化画像として原画像 f =(f1,f2,…,f|V|)T の事後確率 に対する確率伝搬法によりノイズを除去する(画像修復の)プログラムを作成し,数値実験を実行せよ.ZPosterior は規格化定数である. 具体的なアルゴリズムは 田中和之著: 確率モデルによる画像処理技術入門,森北出版,2006. を参照. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 20 以下の図と式の結合確率 Pr{X1,X2,…,X8} により与えられるベイジアンネットワークにおける各ノードごとに周辺確率 P(Xi) (i=1,2,…,8) の厳密な値を C 言語,Java または MatLab を用いて求めよ. 各条件付き確率表は 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009 のp.50の図3.12と表3.11の値を用いよ. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice] 確率的情報処理の基礎技術 課題 21 以下の図と式の結合確率 Pr{X1,X2,…,X8} により与えられるベイジアンネットワークにおける各ノードごとに周辺確率 P(Xi) (i=1,2,…,8) の値を確率伝搬法により計算するプログラムを C 言語,Java または MatLab を用いて求めよ. 各条件付き確率表は「田中和之: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009」のp.50の図3.12と表3.11の値を用いよ. ヒント:具体的なアルゴリズムは「田中和之: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009」の7.2節参照. April, 2015 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Practice]