第３章 3.3.3 補足：パラメータが極小値に収束する例 第３章 3.3.3 補足：パラメータが極小値に収束する例 15K0133 村田 亘 1
第３章 3.3.3 補足：パラメータが極小値に収束する例 第３章 3.3.3 補足：パラメータが極小値に収束する例 - 目次 - ミニバッチと確率的勾配降下法 の おさらい 極小値へ収束 まとめ 2
第３章 3.3.3 補足：パラメータが極小値に収束する例 第３章 3.3.3 補足：パラメータが極小値に収束する例 ミニバッチと確率的勾配降下法 の おさらい 3
ミニバッチとは 全体の計算時間の短縮 ミニバッチと確率的勾配降下法 の おさらい ミニバッチと確率的勾配降下法 の おさらい ミニバッチとは 訓練データの一部を取り出し、複数回に分けて最適化処理を行うこと。 一度に投入するデータ量を少なくする... 全体の計算時間の短縮 4
勾配降下法とは 確率的勾配降下法とは ミニバッチと確率的勾配降下法 の おさらい すべてのデータをもとに誤差関数の最小値を探求する方法 ミニバッチと確率的勾配降下法 の おさらい 勾配降下法とは すべてのデータをもとに誤差関数の最小値を探求する方法 確率的勾配降下法とは 一直線に最小値に向かうのではなく、 ランダムに（確率的に）最小値を探求する方法 5
ミニバッチ確率的勾配降下法を用いるメリット ミニバッチと確率的勾配降下法 の おさらい ミニバッチ確率的勾配降下法を用いるメリット 極小値を避けて 真の最小値に 到達することができる 6
ミニバッチと確率的勾配降下法 の おさらい 誤差関数が最小値の他に極小値を持つ場合 7
ミニバッチと確率的勾配降下法 の おさらい 誤差関数が最小値の他に極小値を持つ場合 勾配降下法 8
ミニバッチと確率的勾配降下法 の おさらい 誤差関数が最小値の他に極小値を持つ場合 ミニバッチ 確率的勾配降下法 9
ミニバッチ確率的勾配降下法を用いるメリット ミニバッチと確率的勾配降下法 の おさらい ミニバッチ確率的勾配降下法を用いるメリット 極小値を避けて 真の最小値に 到達することができる 10
第３章 3.3.3 補足：パラメータが極小値に収束する例 第３章 3.3.3 補足：パラメータが極小値に収束する例 極小値へ収束 11
上手に設定しないと、最小値に到達できない 極小値へ収束 上手に設定しないと、最小値に到達できない 12
極小値へ収束 学習率 13
極小値へ収束 学習率とは パラメータ更新の幅のこと。(パラメータをどのくらい動かすか) (学習率) ≤ 1 14
極小値へ収束 サンプルプログラム 学習率 小 ◯ 15
極小値へ収束 サンプルプログラム 学習率 小 ◯ パラメータ修正をどれだけ行っても… 正解率→低い 誤差関数の値→大きい 16
学習率を小さくする (=パラメータを小さく動かす) ことにより 極小値に到達した状態から 正解率がより低くなる状態, 極小値へ収束 学習率を小さくする (=パラメータを小さく動かす) ことにより 極小値に到達した状態から 正解率がより低くなる状態, 誤差関数がより大きくなる状態 （つまり、この丘） を 超えられなくなってしまう 17
第３章 3.3.3 補足：パラメータが極小値に収束する例 第３章 3.3.3 補足：パラメータが極小値に収束する例 まとめ 18
ミニバッチ確率的勾配降下法を使用すれば 最小値へ到達できるかもしれない まとめ ミニバッチ確率的勾配降下法を使用すれば 最小値へ到達できるかもしれない 学習率が 大きすぎると 計算時間は短く済む いつまでたっても収束しないー＞発散 精度がものすごく悪い 小さすぎると 長期的に見ると、精度は上がるはずなんですけど 計算時間がものすごくかかる上に 最小値に到達できないパターンがほとんどなので結果として精 度が落ちる でも何を持って丁度いいというのかはまだよく分からない 大きすぎる → いつまで経っても収束しない 小さすぎる → 極小値から抜け出せない 丁度いい → 最小値に行くかも？ 19
TensorFlowを使って学習率による動きの違いを確認する 参考 Qiitaの記事 TensorFlowを使って学習率による動きの違いを確認する http://qiita.com/isaac-otao/items/6d44fdc0cfc8fed53657 20