第３章 補足：パラメータが極小値に収束する例

Presentation on theme: "第３章 補足：パラメータが極小値に収束する例"— Presentation transcript:

1 第３章 3.3.3 補足：パラメータが極小値に収束する例
第３章　3.3.3　補足：パラメータが極小値に収束する例 15K0133 村田　亘 1

2 第３章 3.3.3 補足：パラメータが極小値に収束する例
第３章　3.3.3　補足：パラメータが極小値に収束する例 - 目次 - ミニバッチと確率的勾配降下法　の　おさらい 極小値へ収束 まとめ 2

3 第３章 3.3.3 補足：パラメータが極小値に収束する例
第３章　3.3.3　補足：パラメータが極小値に収束する例 ミニバッチと確率的勾配降下法　の　おさらい 3

4 ミニバッチとは 全体の計算時間の短縮 ミニバッチと確率的勾配降下法 の おさらい
ミニバッチと確率的勾配降下法　の　おさらい ミニバッチとは 訓練データの一部を取り出し、複数回に分けて最適化処理を行うこと。 一度に投入するデータ量を少なくする... 全体の計算時間の短縮 4

5 勾配降下法とは 確率的勾配降下法とは ミニバッチと確率的勾配降下法 の おさらい すべてのデータをもとに誤差関数の最小値を探求する方法
ミニバッチと確率的勾配降下法　の　おさらい 勾配降下法とは すべてのデータをもとに誤差関数の最小値を探求する方法 確率的勾配降下法とは 一直線に最小値に向かうのではなく、 ランダムに（確率的に）最小値を探求する方法 5

6 ミニバッチ確率的勾配降下法を用いるメリット
ミニバッチと確率的勾配降下法　の　おさらい ミニバッチ確率的勾配降下法を用いるメリット 極小値を避けて 真の最小値に 到達することができる 6

7 ミニバッチと確率的勾配降下法　の　おさらい 誤差関数が最小値の他に極小値を持つ場合 7

8 ミニバッチと確率的勾配降下法　の　おさらい 誤差関数が最小値の他に極小値を持つ場合 勾配降下法 8

9 ミニバッチと確率的勾配降下法　の　おさらい 誤差関数が最小値の他に極小値を持つ場合 ミニバッチ 確率的勾配降下法 9

10 ミニバッチ確率的勾配降下法を用いるメリット
ミニバッチと確率的勾配降下法　の　おさらい ミニバッチ確率的勾配降下法を用いるメリット 極小値を避けて 真の最小値に 到達することができる 10

11 第３章 3.3.3 補足：パラメータが極小値に収束する例
第３章　3.3.3　補足：パラメータが極小値に収束する例 極小値へ収束 11

12 上手に設定しないと、最小値に到達できない
極小値へ収束 上手に設定しないと、最小値に到達できない 12

13 極小値へ収束 学習率 13

14 極小値へ収束 学習率とは パラメータ更新の幅のこと。(パラメータをどのくらい動かすか) (学習率) ≤ 1 14

15 極小値へ収束 サンプルプログラム 学習率　小 ◯ 15

16 極小値へ収束 サンプルプログラム 学習率　小 ◯ パラメータ修正をどれだけ行っても… 正解率→低い 誤差関数の値→大きい 16

17 学習率を小さくする (=パラメータを小さく動かす) ことにより 極小値に到達した状態から 正解率がより低くなる状態,
極小値へ収束 学習率を小さくする (=パラメータを小さく動かす) ことにより 極小値に到達した状態から 正解率がより低くなる状態, 誤差関数がより大きくなる状態 （つまり、この丘） を 超えられなくなってしまう 17

18 第３章 3.3.3 補足：パラメータが極小値に収束する例
第３章　3.3.3　補足：パラメータが極小値に収束する例 まとめ 18

19 ミニバッチ確率的勾配降下法を使用すれば 最小値へ到達できるかもしれない
まとめ ミニバッチ確率的勾配降下法を使用すれば 最小値へ到達できるかもしれない 学習率が 大きすぎると 計算時間は短く済む いつまでたっても収束しないー＞発散 精度がものすごく悪い 小さすぎると 長期的に見ると、精度は上がるはずなんですけど 計算時間がものすごくかかる上に 最小値に到達できないパターンがほとんどなので結果として精 度が落ちる でも何を持って丁度いいというのかはまだよく分からない 大きすぎる → いつまで経っても収束しない 小さすぎる → 極小値から抜け出せない 丁度いい　 → 最小値に行くかも？ 19

20 TensorFlowを使って学習率による動きの違いを確認する
参考 Qiitaの記事 TensorFlowを使って学習率による動きの違いを確認する 20