極大ﾉｲｽﾞを除去する情報量最小化 学習ｱﾙｺﾞﾘｽﾞﾑ 塩谷浩之 室蘭工業大学 工学部 情報工学科 WINGS研究会
推定・学習におけるノイズ １．ガウスノイズと最小自乗法 システムと観測ノイズ ２．ノイズ混入確率モデル 確率モデル上でのノイズ混合 システムと観測ノイズ ２．ノイズ混入確率モデル 確率モデル上でのノイズ混合 ３．EDαを用いた極大ノイズ除去 α-divergence からの発展 WINGS研究会
観測データへのノイズ混入 入力 X システム 出力 Y 観測 ノイズδ f( ) ？ Y = f (X)+δ WINGS研究会
ガウスノイズ データ出現頻度 入力 X システム 出力 Y 観測 ノイズδ f(θ) 分散 Y* θ*：真値 入力X WINGS研究会
ガウスノイズ ノイズ混入モデル 入出力事例 入出力確率モデル 確率密度 ～ノイズが影響を与える度合い WINGS研究会
ガウスノイズ 最尤法 WINGS研究会
学習規準と結果 学習基準 期待される学習結果 WINGS研究会
ノイズ混入確率モデル ノイズ混入確率モデル Xに対する真のシステム出力 : Xに対するノイズ値 : ノイズデータの割合 : WINGS研究会
混合モデルにおける学習 最尤法と分布間情報量 ノイズ混入データ ： 勾配法による学習 アルゴリズム 分布間情報量 ： WINGS研究会
学習手続き WINGS研究会
極大ノイズの影響 推定値と θ*との差 θ* δz WINGS研究会
EＤαの導入 α-divergence ： ただし，Gは，Var=1のガウス密度の全体 [系] 塩谷，伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001 WINGS研究会
EＤαによる極大ﾉｲｽﾞ除去 塩谷，伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001 WINGS研究会
NNを用いた例題 WINGS研究会
NNを用いた例題 極大ﾉｲｽﾞ除去 WINGS研究会
参考 [1] Beran. R. : An efficent and robust adaptive estimator of location, Ann. Statist. 5, pp.292-313, 1978. [2] Jureckova, J., Sen, P. K. : Robust Statistical Procedures Asymptotic and Interrelations, Wiley Inter Science,1995. [3] 塩谷，伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001. [4] 内田，塩谷 : 不定性を用いた分布間情報量の拡張形式に関する検討, 信学論, A(基礎・境界) No. 4, 2004. WINGS研究会