極大ﾉｲｽﾞを除去する情報量最小化 学習ｱﾙｺﾞﾘｽﾞﾑ

Presentation on theme: "極大ﾉｲｽﾞを除去する情報量最小化 学習ｱﾙｺﾞﾘｽﾞﾑ"— Presentation transcript:

1 極大ﾉｲｽﾞを除去する情報量最小化 学習ｱﾙｺﾞﾘｽﾞﾑ
塩谷浩之 室蘭工業大学　工学部　情報工学科 WINGS研究会

2 推定・学習におけるノイズ １．ガウスノイズと最小自乗法 システムと観測ノイズ ２．ノイズ混入確率モデル 確率モデル上でのノイズ混合
　　　　　　　　　　システムと観測ノイズ ２．ノイズ混入確率モデル 　　　　　　　　　　確率モデル上でのノイズ混合 ３．EDαを用いた極大ノイズ除去 　　　　　　　　　　α-divergence からの発展 WINGS研究会

3 観測データへのノイズ混入 入力 X システム 出力 Y 観測 ノイズδ f( ) ？ Y = f (X)+δ WINGS研究会

4 ガウスノイズ データ出現頻度 入力 X システム 出力 Y 観測 ノイズδ f(θ) 分散 Y* 　θ*：真値 入力X WINGS研究会

5 ガウスノイズ ノイズ混入モデル 入出力事例 入出力確率モデル 確率密度 ～ノイズが影響を与える度合い WINGS研究会

6 ガウスノイズ 最尤法 WINGS研究会

7 学習規準と結果 学習基準 期待される学習結果 WINGS研究会

8 ノイズ混入確率モデル ノイズ混入確率モデル Xに対する真のシステム出力 : Xに対するノイズ値 : ノイズデータの割合 : WINGS研究会

9 混合モデルにおける学習 最尤法と分布間情報量 ノイズ混入データ　： 勾配法による学習 アルゴリズム 分布間情報量　： WINGS研究会

10 学習手続き WINGS研究会

11 極大ノイズの影響 推定値と θ*との差 θ* δz WINGS研究会

12 EＤαの導入 α-divergence ： ただし，Gは，Var=1のガウス密度の全体 [系]
塩谷，伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp , 2001 WINGS研究会

13 EＤαによる極大ﾉｲｽﾞ除去 塩谷，伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習
信学論 (DII) Vol. J84-DII, No.12, pp , 2001 WINGS研究会

14 NNを用いた例題 WINGS研究会

15 NNを用いた例題 極大ﾉｲｽﾞ除去 WINGS研究会

16 参考 [1] Beran. R. : An efficent and robust adaptive estimator of location, Ann. Statist. 5, pp , 1978. [2] Jureckova, J., Sen, P. K. : Robust Statistical Procedures Asymptotic and Interrelations, Wiley Inter Science,1995. [3] 塩谷，伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp , 2001. [4] 内田，塩谷 : 不定性を用いた分布間情報量の拡張形式に関する検討, 信学論, A(基礎・境界) No. 4, 2004. WINGS研究会