極大ノイズを除去する情報量最小化 学習アルゴリズム

Slides:



Advertisements
Similar presentations
計測工学 - 測定の誤差と精度 2- 計測工学 2009 年 4 月 28 日 Ⅱ限目. 授業内容 2.1 数値計算における誤差 2.2 計算過程での誤差 2.3 測定の精度.
Advertisements

PCFG の EM アルゴリズムとス ムージング 二宮 崇 1. 今日の講義の予定 PCFG (Probabilistic Context Free Grammar, 確率付 文脈自由文法 ) EM アルゴリズム スムージング 教科書 北研二 ( 著 ) 辻井潤一 ( 編 ) 言語と計算 4 確率的言語モデル.
『わかりやすいパターン認 識』 第 5 章 特徴の評価とベイズ誤り確率 5.4 ベイズ誤り確率と最近傍決定則 発表日: 5 月 23 日(金) 発表者:時田 陽一.
土木計画学 第3回:10月19日 調査データの統計処理と分析2 担当:榊原 弘之. 標本調査において,母集団の平均や分散などを直接知ることは できない. 母集団の平均値(母平均) 母集団の分散(母分散) 母集団中のある値の比率(母比率) p Sample 標本平均 標本分散(不偏分散) 標本中の比率.
白井ゼミ 豊田秀樹(2008)『データマイニング入門』 (東京図書)。4章
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
数理統計学(第五回) 統計的推測とは? 浜田知久馬 数理統計学第5回.
土木計画学 第5回(11月2日) 調査データの統計処理と分析3 担当:榊原 弘之.
Bassモデルにおける 最尤法を用いたパラメータ推定
時空間データからのオブジェクトベース知識発見
Bias2 - Variance - Noise 分解
Bias2 - Variance - Noise 分解
東京工業大学 機械制御システム専攻 山北 昌毅
ベイズ的ロジスティックモデル に関する研究
雑音重み推定と音声 GMMを用いた雑音除去
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
確率モデルによる 画像処理技術入門 --- ベイズ統計と確率的画像処理 ---
計測工学 -測定の誤差と精度2- 計測工学 2009年5月17日 Ⅰ限目.
ベイジアンネットワーク概説 第3章 ベイジアンネットワークモデルの      数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史.
第4章 線形識別モデル 修士2年 松村草也.
東京工業大学 機械制御システム専攻 山北 昌毅
高次元データにおける幾つかの検定統計量の漸近分布について
ガウス過程による回帰 Gaussian Process Regression GPR
第6章 カーネル法 修士2年 藤井 敬士.
パターン認識とニューラルネットワーク 栗田多喜夫 2018/11/8 早稲田大学大学院理工学研究科講義.
相関分析.
ニューラルネットは、いつ、なぜ、どのようにして役立つか?
7. 音声の認識:高度な音響モデル 7.1 実際の音響モデル 7.2 識別的学習 7.3 深層学習.
1.標本平均の特性値 2.母分散既知の標本平均の分布 3.大数法則と中心極限定理
Statistical Physics and Singularity Theory
正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
決定木とランダムフォレスト 和田 俊和.
第9章 混合モデルとEM 修士2年 北川直樹.
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
確率論の基礎 「ロジスティクス工学」 第3章 鞭効果 第4章 確率的在庫モデル 補助資料
P3-12 教師が真の教師のまわりをまわる場合のオンライン学習 三好 誠司(P)(神戸高専) 岡田 真人(東大,理研,さきがけ)
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第二回 演習課題
高度情報演習1C 実践 画像処理プログラミング 第二回 演習課題
第14章 モデルの結合 修士2年 山川佳洋.
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
第5章 特徴の評価とベイズ誤り確率 5.5 ベイズ誤り確率の推定法 [1] 誤識別率の偏りと分散 [2] ベイズ誤り確率の上限および下限
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
訓練データとテストデータが 異なる分布に従う場合の学習
2つの平行光の観測による 内部カメラパラメータの安定なキャリブレーション
Data Clustering: A Review
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
分子生物情報学(3) 確率モデル(隠れマルコフモデル)に 基づく配列解析
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
Core Technology Center
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
第3章 線形回帰モデル 修士1年 山田 孝太郎.
ベイズ最適化 Bayesian Optimization BO
経営学研究科 M1年 学籍番号 speedster
最尤推定・最尤法 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
京大院情報学研究科 Graduate School of Informatics, Kyoto University
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
``Exponentiated Gradient Algorithms for Log-Linear Structured Prediction’’ A.Globerson, T.Y.Koo, X.Carreras, M.Collins を読んで 渡辺一帆(東大・新領域)
人工知能特論II 第8回 二宮 崇.
教師が真の教師のまわりを まわる場合のオンライン学習
ベイズ音声合成における 事前分布とモデル構造の話者間共有
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
Q状態イジング模型を用いた多値画像修復における 周辺尤度最大化によるハイパパラメータ推定
AAMと回帰分析による視線、顔方向同時推定
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

極大ノイズを除去する情報量最小化 学習アルゴリズム 塩谷浩之 室蘭工業大学 工学部 情報工学科 WINGS研究会

推定・学習におけるノイズ 1.ガウスノイズと最小自乗法 システムと観測ノイズ 2.ノイズ混入確率モデル 確率モデル上でのノイズ混合           システムと観測ノイズ 2.ノイズ混入確率モデル           確率モデル上でのノイズ混合 3.EDαを用いた極大ノイズ除去           α-divergence からの発展 WINGS研究会

観測データへのノイズ混入 入力 X システム 出力 Y 観測 ノイズδ f( ) ? Y = f (X)+δ WINGS研究会

ガウスノイズ データ出現頻度 入力 X システム 出力 Y 観測 ノイズδ f(θ) 分散 Y*  θ*:真値 入力X WINGS研究会

ガウスノイズ ノイズ混入モデル 入出力事例 入出力確率モデル 確率密度 ~ノイズが影響を与える度合い WINGS研究会

ガウスノイズ 最尤法 WINGS研究会

学習規準と結果 学習基準 期待される学習結果 WINGS研究会

ノイズ混入確率モデル ノイズ混入確率モデル Xに対する真のシステム出力 : Xに対するノイズ値 : ノイズデータの割合 : WINGS研究会

混合モデルにおける学習 最尤法と分布間情報量 ノイズ混入データ : 勾配法による学習 アルゴリズム 分布間情報量 : WINGS研究会

学習手続き WINGS研究会

極大ノイズの影響 推定値と θ*との差 θ* δz WINGS研究会

EDαの導入 α-divergence : ただし,Gは,Var=1のガウス密度の全体 [系] 塩谷,伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001 WINGS研究会

EDαによる極大ノイズ除去 塩谷,伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001 WINGS研究会

NNを用いた例題 WINGS研究会

NNを用いた例題 極大ノイズ除去 WINGS研究会

参考 [1] Beran. R. : An efficent and robust adaptive estimator of location, Ann. Statist. 5, pp.292-313, 1978. [2] Jureckova, J., Sen, P. K. : Robust Statistical Procedures Asymptotic and Interrelations, Wiley Inter Science,1995. [3] 塩谷,伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001. [4] 内田,塩谷 : 不定性を用いた分布間情報量の拡張形式に関する検討, 信学論, A(基礎・境界) No. 4, 2004. WINGS研究会