誤差の二乗和の一次導関数 偏微分
最小二乗法 誤差の二乗和を 最小化する パラメータを推定する
微分と導関数 準備
微分とは
hを限りなく0に近づけた時に、値をとるならば、この関数はaで微分可能と言い、x=a の微分係数という。
導関数 微分係数の値はaの値が変化すると変わる。 したがって与式はaの関数である。 そこでaをxで置き換えた式を導関数という。
導関数の表記法 元の関数を f(x) とする。 導関数は以下のような記号で表されることが多い
f(x) = x の導関数
f(x) = x2 の導関数
f(x) = c の導関数
f(x) +g(x) の導関数
af(x) の導関数
微分の公式
偏微分 のように変数が複数ある関数を微分することを考える。ここでx1だけが微小に変化する場合を考える。 つまり、(a,b)から(a+Δx1,b)へ変化したときのf(x1,x2)の変化率を求める。この値を偏微分係数と呼ぶ。 偏微分係数は(a,b)の関数なのでこれらの関数を偏導関数とよぶ。 実際に計算するときは、x1で偏微分するときにx2は一定であるとして計算すればよい。
極値を求める 誤差の二乗和の一次導関数
誤差の二乗和の式 (再掲)
関数の最小化と極値 誤差の二乗和は非負値なので、この値を最小化するパラメータは1次導関数を0とおいて連立方程式を解けばよい。
問題 以下の式をaとbで偏微分せよ
答え