最適化関数はニューラルネットワークにおいて学習率を学習しながら調整してくれます。DeepLearningにおける最適化関数選びは大きな検討要素の一つです。どれを選ぶかによっても大きく学習時間や結果に関わってきます。説1.最適化関数についてニューラルネットワークの学習では、どれだけ今の状態から更新するかを"勾配法"を用いて決定されます。最適化関数はその勾配法で学習するときにどれだけ新しく変えてみるかを調整するために使用され、様々な最適化関数が提案されています。これらの最適化関数は学習精度や速度に影響します。RMSPropを改良して作られ、あるバイアスを取り除くことで他より効率的な最適化関数となっている。どの最適化関数が一番よいかというのは定かではありません。多くの論文ではMomentumを使ったものが散見されます。シンプルに最適化関数を添えずにSGDは鞍点で学習が遅くなりやすいことを除けば多くの場合は最小解にたどり着くことがわかっており、SGDを少し改変したもの等も検討されています。Momentum最適化関数SGDではランダムにデータを選んでパラメータ更新を行ったことで値がばたつきなかなか収束しない.慣性項を加えたことで、パラメータ更新に勢いをつけ学習を早くした.続きを見る。