多数の疑似システムを用いた システム同定の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大， 理 研 多数の疑似システムを用いた システム同定の統計力学 三好 誠司 　 岡田 真人 神 戸 高 専 　　 　　 東 大， 理 研

学習 観測データだけを使って，その背後にあるデータ生成過程をモデル化すること

学習 女 教師 生徒

学習 男 教師 生徒

学習 男 教師 生徒

学習 女 教師 生徒

学習 A J Teacher Student J J

学習 バッチ学習 オンライン学習 与えられたいくつかの例題を繰り返し使用 すべての例題に正しく答えられる 長い時間が必要 例題を蓄えておくメモリが必要 オンライン学習 一度使った例題は捨ててしまう 過去の例題に必ず正しく答えられるとは限らない 例題を蓄えておくメモリが不要 時間的に変化する教師にも追随

よく似ている！ 適応信号処理（システム同定） ＋ 学習 システム同定 未知システム 適応フィルタ － 適応アルゴリズム 入力 Teacher Student よく似ている！

今回扱うモデル ＋ A B1 B2 BK J 未知システム 疑似システム 疑似システム 疑似システム 適応フィルタ 入力 ＋ － 適応 アルゴリズム 未知システム 疑似システム 疑似システム 疑似システム 適応フィルタ A B1 B2 BK J 入力

今回扱うモデル 未知システム A, B1,B2,・・・ ,J はトランスバーサルフィルタ J は A の出力を直接観測することはできない 適応フィルタ 疑似システム A, B1,B2,・・・ ,J はトランスバーサルフィルタ J は A の出力を直接観測することはできない J は B1,B2,・・・ の出力を順番に使う

目 的 未知システム， K個の疑似システム， 適応フィルタからなるモデル の二乗平均誤差を計算する． 特に， 疑似システムの個数K， 目　的 未知システム， K個の疑似システム， 適応フィルタからなるモデル の二乗平均誤差を計算する． 特に， 疑似システムの個数K， 疑似システム集団の多様性と 二乗平均誤差の関係について 議論する．

トランスバーサルフィルタ Output Σ Tap Weights J1 J2 JN Inputs x1 x2 xN

出力にノイズが乗るトランスバーサルフィルタ モデル 出力にノイズが乗るトランスバーサルフィルタ

モデル 入力:　 未知システム: 疑似システム:　 適応フィルタの初期値: N→∞ (熱力学的極限) 巨視的変数 適応フィルタの長さ 方向余弦

未知システム 疑似システム 適応フィルタ

モデル 二乗誤差 LMSアルゴリズム fkm 適応フィルタはK個の疑似システムの出力を順番に使う

二乗平均誤差 本研究の目的は二乗平均誤差を理論的に求めること 二乗平均誤差 = 新しい入力とノイズに関する二乗誤差の平均

巨視的変数のダイナミクスを記述する 決定論的連立微分方程式

熱力学的極限における自己平均性にもとづき巨視的変数の ダイナミクスを記述する微分方程式を決定論的な形で導出 １．解析を容易にするため補助的巨視的変数を導入

モデル 二乗誤差 LMSアルゴリズム fkm 適応フィルタはK個の疑似システムの出力を順番に使う

熱力学的極限における自己平均性にもとづき巨視的変数の ダイナミクスを記述する微分方程式を決定論的な形で導出 １．解析を容易にするため補助的巨視的変数を導入 ２． Jm+1 = Jm + f1m xm の両辺にAを乗ずる NrJm+1 = NrJm + f1m ym ３． + Ndt inputs NrJm+2 = NrJm+1 + f2m+1 ym+1 NrJm+Ndt = NrJm+Ndt-1 + fkm+Ndt-1 ym+Ndt-1 <　> は サンプル平均 を表す

巨視的変数のダイナミクスを記述する 決定論的連立微分方程式

解析的に得られた巨視的変数

二乗平均誤差 本研究の目的は二乗平均誤差を理論的に求めること 二乗平均誤差 = 新しい入力とノイズに関する二乗誤差の平均

二乗平均誤差，RJ ，lのダイナミクス （η=0.3, K=3, RB=0.7, σA2=0.0, σB2=0.1, σJ2=0.2） J Student Adaptive Filter Mean-Squared Error J Ensemble teachers False System

解析的に得られた巨視的変数

定常状態の解析 （ t → ∞ ） 二乗平均誤差は発散してしまう ・ η＜０ あるいは η＞２ ならば 二乗平均誤差は発散してしまう ・ ０＜η＜２ ならば η＜１ならば，疑似システムの多様性が豊かであるほど また 疑似システムの数Kが多いほど二乗平均誤差は小さくなる． η＞１ならば，疑似システムの多様性が乏しいほど また 疑似システムの数Kが少ないほど二乗平均誤差は小さくなる．

二乗平均誤差，RJ の定常値 （K=3, RB=0.7, σA2=σB2=σJ2=0.0） J

二乗平均誤差，RJ の定常値 （q=0.49, RB=0.7, σA2=σB2=σJ2=0.0） J

まとめ 未知システム，K個の疑似システム，適応フィルタから構成されるモデルのシステム同定について解析した． 適応フィルタの二乗平均誤差を統計力学的手法を用いて理論的に計算した結果，ステップサイズがη<1 のときには疑似システムの個数が多いほど，また，疑似システムの多様性が豊かであるほど適応フィルタの二乗平均誤差は小さくなるが，η>1 の場合には全く逆であるという興味深い結果を得た． K個の疑似システムの多様性が十分に豊かである場合には，そして，そのときに限り， η→0，K→∞において雑音の有無によらず完全なシステム同定が達成される．

The Independence Theory (S.Haykin, Adaptive Filter Theory) The statistical analysis of the LMS algorithm based on the following fundamental assumption. The tap-input vectors x1, x2,・・・, xm constitute a sequence of statistically independent vectors. At time m, the tap-input vector xm is statistically independent of all previous samples of the desired response, namely y1,y2,・・・,ym-1. At time m, the desired response ym is dependent on the corresponding tap-input vector xm, but statistically independent of all previous samples of the desired response. The tap-input vector xm and the desired response ym consist of mutually Gaussian-distributed random variables for all m.