独立成分分析 ５ アルゴリズムの安定性と効率 ２００７/１０/２４ 名雪 勲
独立成分分析の 学習アルゴリズムの性質(1/4) 前章で導いた式 の性質について説明する。 まずは記号の意味について復習する。 ｎ個の独立な成分を持つ記号Stが時間tに発生するものとして、これが線形に混ざったxt=Astが各時間t=1,2,・・・に観測される。
独立成分分析の 学習アルゴリズムの性質(2/4) この時y=Wxのxから元のsを復元したい。 がわかっていればいいが、わからないので、時間tでのWの候補をWtとしてyt=Wtxtを観測するたびに、これをWt+1=Wt+ΔWtに変えていく学習アルゴリズムの話だった。 ここで、ηｔは学習の大きさを示す係数、Iは単位行列、φ(y)は成分がφi(yi)というベクトルのことで、φiはとりあえず適当な非線形関数であった。
独立成分分析の 学習アルゴリズムの性質(3/4) stは確率的に発生する平均０の信号である。よってxtもytも確率信号である。だから先ほどの学習アルゴリズムの式も確率変数で駆動される確率差分方程式ということになる。 するとWtは過去に出たs1・・・snによって決まる。つまりWtが時間と共にどこへ収束するかは不確定ではないか？という疑問がでる。
独立成分分析の 学習アルゴリズムの性質(4/4) しかし、stは１回ごとにランダムに決まるといっても方程式を解くことはΔWを足していくことなので、stまたはytをtに関して加えることになる。 すると大数の法則などによりWtは右辺をstについて平均化したものに近づいていく。 この話を厳密にすると確率近似法の話になる。
確率近似法による収束の話(1/3) 係数ηtを1/tのオーダーで小さくしていくと収束が確率１で保証されている。ηtが小さい定数だと微小変動は残るが一応、平均化した方程式 の解に近づいていく。 ここでEは確率変数ytについての期待値。
確率近似法による収束の話(2/3) 差分方程式より微分方程式の方が解析が楽なので、tを連続時間として として議論する。 （５－３） として議論する。 この方程式が収束すると仮定するとdWt/dt=0となる。このとき答えは右辺が０、つまりy=Wxとして
確率近似法による収束の話(3/3) を満たすWが答えとして出る。 成分で書くと E[φi(yi)yi]=1 、 E[φi(yi)yj]=0 , i≠j である。 しかし、元の信号siが復元できたとしてもそのスケールはわからない。そこでこのアルゴリズムでは仮に信号のスケールが決まる。よって元の信号を正しく分離するWはこの学習の方程式の平衡状態になっている。
平衡状態の安定性 先ほどの解が平衡状態に収束するかどうかは、平衡状態の安定性にかかっている。 そこで平均化した微分方程式で平衡状態の安定性を調べると、条件付ではあるが、正解が安定平衡点に収束することが微分方程式の議論により証明できた。
まとめ 今までの話をまとめるとICAで元の信号源の信号を復元するのに復元行列Wを学習で求めるのが（５－３）式である。 いずれにしてもφi(yi)というn個の関数を選ばなくてはならない。この時、安定性を満たすようにφiを選べば正しい解が得られるが、満たしていなければ分離はうまくいかない。