電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 5 (2012年4月)

Slides:



Advertisements
Similar presentations
PRML読書会第11回 8.4 グラフィカルモデルによる推論 SUHARA YOSHIHIKO (id:sleepy_yoshi)
Advertisements

東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
ベイジアンネットワーク概説 第5章 ベイジアンネットワークの応用 5.1 ベイジアンネットワークのソフトウェア BayoNet
クラスター変分法と確率的情報処理 --Belief Propagation と画像処理アルゴリズム--
確率モデルによる 画像処理技術入門 --- ベイズ統計と確率的画像処理 ---
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- 2003年8月12日前半
確率モデルによる画像処理における統計的学習理論
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2014年4月)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎 第1部講義(2009年4月)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎 第3部講義(2007年6月19日,6月26日)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2012年4月)
正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
はじめに: 平均場理論を用いた情報処理の最近の動向
電気・通信・電子・情報工学実験D 確率的情報処理の基礎 第1部講義(2008年4月15日,4月22日,5月6日)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
確率伝搬法と量子系の平均場理論 田中和之 東北大学大学院情報科学研究科
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- 2003年8月14日後半
確率的情報処理と確率伝搬法によるアルゴリズム設計の数理構造
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 2(2014年4月)
ベイジアンネットと確率推論 変分原理からの再帰的確率推論アルゴリズムの解説
物理フラクチュオマティクス論 Physical Fluctuomatics 第9回 確率伝搬法 9th Belief propagation
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2013年4月)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎 第1部講義(2007年4月16日,4月17日,4月24日,5月10日)
量子系における 確率推論の平均場理論 田中和之 東北大学大学院情報科学研究科
電気・通信・電子・情報工学実験D 確率的情報処理の基礎 第1部講義(2006年4月17日,4月18日,4月25日,5月9日)
科研費特定領域研究 「確率的情報処理への統計力学的アプローチ」平成16年度第2回公開シンポジューム “確率推論の数理”
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
確率的情報処理の最近の動向 東北大学 大学院情報科学研究科 田中 和之
物理フラクチュオマティクス論 Physical Fluctuomatics 第9回 確率伝搬法 9th Belief propagation
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
統計解析 第1回 条件付き独立性と確率的グラフィカルモデル 本講義の全体像
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
確率を手なづける秘伝の計算技法 ~古くて新しい確率・統計モデルのパラダイム~ その2:ベイジアンネットと確率推論の数理
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2015年4月)
ガウシアン確率伝搬法の 近似精度に対する理論解析
ベイジアンネットワーク概説 Loopy Belief Propagation 茨城大学工学部 佐々木稔
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
若手研究者・学生向けに,最新技術をわかりやすく紹介する講演会 確率的情報処理としての移動体通信技術
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 4 (2015年4月)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
物理フラクチュオマティクス論 応用確率過程論 (2006年5月9日)
確率的画像処理アルゴリズム入門 東北大学 大学院情報科学研究科 田中 和之
確率の生み出す新しい情報処理技術 東北大学 大学院情報科学研究科 田中 和之
東北大 情報科学 田中和之,吉池紀子 山口大 工 庄野逸 理化学研究所 岡田真人
科学研究費補助金 特定領域研究 確率的情報処理への 統計力学的アプローチ 平成14年度研究成果発表会
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 3 (2013年4月)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
ガウス分布における ベーテ近似の理論解析 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- 2003年8月14日前半
ベイジアンネットワーク概説 第3章 ベイジアンネットワークモデルの 数学的基礎 3.1 ベイジアンネットワークモデルの概要
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
ゆらぎが生み出す新しい情報処理技術 確率伝搬法と確率的画像処理
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 5 (2013年4月)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 1(2013年4月)
Q状態イジング模型を用いた多値画像修復における 周辺尤度最大化によるハイパパラメータ推定
ガウシアングラフィカルモデルにおける一般化された確率伝搬法
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 4 (2012年4月)
電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Practice (2019年4月)
Presentation transcript:

電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術 Part 5 (2012年4月) 本実験DのWebpage: http://www.smapip.is.tohoku.ac.jp/~kazu/ECEI-ExperimentD/2012/ 東北大学 大学院情報科学研究科 田中 和之 kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/ April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 本講義の参考文献 田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006. 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009. 田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル」, サイエンス社,2006. 安田宗樹, 片岡駿,田中和之共著 (分担執筆): ---CVIMチュートリアルシリーズ--- コンピュータビジョン最先端ガイド3(八木康史,斎藤英雄編), 第6章.大規模確率場と確率的画像処理の深化と展開,pp.137-179, アドコム・メディア株式会社, December 2010. Kazuyuki Tanaka: Statistical-mechanical approach to image processing (Topical Review), Journal of Physics A: Mathematical and General, vol.35, no.37, pp.R81-R150, 2002. C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007. M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001. H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, ---An Introduction---, Oxford University Press, 2001. M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008. M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009. April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] Contents 序論:確率的情報処理とベイジアンネットワーク 確率の基礎知識 確率的計算技法の基礎 ---マルコフ連鎖モンテカルロ法と確率伝搬法--- 確率的画像処理とベイジアンネットワーク ---マルコフ確率場と確率伝搬法--- 確率推論とベイジアンネットワーク---グラフィカルモデルと確率伝搬法--- まとめ April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

不確実性を伴うデータに耐えうる推論システム ベイジアンネットと確率推論 ベイズの公式 確率モデル グラフィカルモデル 確率推論 医療診断 故障診断 ベイジアンネット 不確実性を伴うデータに耐えうる推論システム たくさんのノードが関連しあって集まっている. 計算困難を打破する高性能の近似アルゴリズムの必要性 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率の知識(1) 事象Aの起こる確率 事象Aと事象Bの結合確率 条件付き確率と結合確率 A B April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率の知識(2) 事象 B の周辺確率 A B C D 周辺化 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率推論に使う数学 A B C 因果独立の仮定 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 簡単なベイジアンネットの例 問題 芝生がぬれているのは何故でしょうか?雨が降ったせいでしょうか? それともスプリンクラーを動かしたせいでしょうか? April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 簡単なベイジアンネットの例 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 簡単なベイジアンネットの例 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 簡単なベイジアンネットの例 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 簡単なベイジアンネットの例 回答:芝生がぬれているのは雨が降ったせいだと考えられます. April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] より複雑なベイジアンネット 重ループ 定義に基づいて厳密に計算するプログラム ノード数とともに指数関数的に計算量が増加 このプログラムでは L=10個のノードで1秒かかるとしたら L=20個で約17分,L=30個で約12日,L=40個で約34年かかる. April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率伝搬法 閉路を持たないグラフ上の確率モデルに対して厳密な結果を与える. 閉路を持つグラフ上の確率モデルでは近似アルゴリズムとなる. 8個程度のノードの簡単ではあるが閉路を含むグラフ上の確率モデルで確率伝搬法の構造を説明し,得られる近似結果と厳密な結果を比較してみる. April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

閉路を持つグラフ上の 確率モデルの結合確率 無向グラフ 有向 グラフ April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 周辺確率分布 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] この場合の確率伝搬法の基本方針 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率伝搬法の固定点方程式 確率伝搬アルゴリズム April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

Message を用いた周辺確率分布の近似表式 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

Message Passing Algorithm April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 固定点方程式と反復法 固定点方程式 繰り返し出力を入力に入れることにより,固定点方程式の解が数値的に得られる. 反復法 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 数値実験 Belief Propagation Exact April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 数値実験 確率伝搬法 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 線形応答理論 (人為的に小さなゆらぎを与えてその応答を見ることで詳細を知ることができる.) April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 数値実験 April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]

電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5] 確率推論のまとめ ベイジアンネットと確率伝搬法を用いた確率推論の概説 線形応答定理を用いた高次の推論システムへの発展 ベイジアンネットの最近の動向 繁桝算男, 本村陽一, 植野真臣: ベイジアンネットワーク概説,培風館,2006. 本村陽一, 岩崎弘利:ベイジアンネットワーク技術,東京電機大出版,2006. 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009. Microsoft社,Intel社,Nokia社などが実用化への研究 http://excalibur.brc.uconn.edu/~baynet/ http://www.research.microsoft.com/research/dtg/ April, 2012 電気・通信・電子・情報工学実験D [Kazuyuki Tanaka Part 5]