極大ノイズを除去する情報量最小化 学習アルゴリズム 塩谷浩之 室蘭工業大学 工学部 情報工学科 WINGS研究会
推定・学習におけるノイズ 1.ガウスノイズと最小自乗法 システムと観測ノイズ 2.ノイズ混入確率モデル 確率モデル上でのノイズ混合 システムと観測ノイズ 2.ノイズ混入確率モデル 確率モデル上でのノイズ混合 3.EDαを用いた極大ノイズ除去 α-divergence からの発展 WINGS研究会
観測データへのノイズ混入 入力 X システム 出力 Y 観測 ノイズδ f( ) ? Y = f (X)+δ WINGS研究会
ガウスノイズ データ出現頻度 入力 X システム 出力 Y 観測 ノイズδ f(θ) 分散 Y* θ*:真値 入力X WINGS研究会
ガウスノイズ ノイズ混入モデル 入出力事例 入出力確率モデル 確率密度 ~ノイズが影響を与える度合い WINGS研究会
ガウスノイズ 最尤法 WINGS研究会
学習規準と結果 学習基準 期待される学習結果 WINGS研究会
ノイズ混入確率モデル ノイズ混入確率モデル Xに対する真のシステム出力 : Xに対するノイズ値 : ノイズデータの割合 : WINGS研究会
混合モデルにおける学習 最尤法と分布間情報量 ノイズ混入データ : 勾配法による学習 アルゴリズム 分布間情報量 : WINGS研究会
学習手続き WINGS研究会
極大ノイズの影響 推定値と θ*との差 θ* δz WINGS研究会
EDαの導入 α-divergence : ただし,Gは,Var=1のガウス密度の全体 [系] 塩谷,伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001 WINGS研究会
EDαによる極大ノイズ除去 塩谷,伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001 WINGS研究会
NNを用いた例題 WINGS研究会
NNを用いた例題 極大ノイズ除去 WINGS研究会
参考 [1] Beran. R. : An efficent and robust adaptive estimator of location, Ann. Statist. 5, pp.292-313, 1978. [2] Jureckova, J., Sen, P. K. : Robust Statistical Procedures Asymptotic and Interrelations, Wiley Inter Science,1995. [3] 塩谷,伊達 : α-ダイバージェンスを利用した一般化された2乗誤差最小学習 信学論 (DII) Vol. J84-DII, No.12, pp. 2690-2695, 2001. [4] 内田,塩谷 : 不定性を用いた分布間情報量の拡張形式に関する検討, 信学論, A(基礎・境界) No. 4, 2004. WINGS研究会