Contentsこちらを読むと交差エントロピー誤差関数のおさらい勾配法(勾配降下法)まとめReferenceこちらを読むとロジスティック回帰の勾配法でパラメータを決定する手法を理解できます前回の記事で、ロジスティック回帰の交差エントロピー誤差関数を定義し、これを最小化することで、尤度関数を最大化、すなわち最適なパラメータが設定できることを説明しました。y_n)\}\end{eqnarray*}$$~詳解ディープラーニングより抜粋~上で導出された関数のことを、交差エントロピー誤差関数と呼びます。この関数を最小化することが、もともとの尤度関数を最適化することになります。1\}\)であることを思い出してください。\)のどちらかになります。\)のどちらかになります。\)はロジスティック回帰の出力で、確率で表されるため、0~1の範囲の値になります。値が大きければ大きいほど、”正解”の確率が高まるわけです。よって、交差エントロピー誤差関数が最小化できれば、”正解”の確率を高められる、すなわち最適なパラメータが求められるのです。今回は交差エントロピー誤差関数を使って、勾配法(勾配降下法)でパラメータを最適化していきます。\)で微分して0になる値」を求める必要があります。解析的にこの値を求めることは困難です。そこで、代わりに勾配法を用いてパラメータを決定する方法があります。勾配法は以下の式で表せます。\)(イータ)は学習率と呼ばれるハイパーパラメータで、モデルのパラメータの収束しやすさを調整します。この値は0より大きな値で、一般的には0.1や0.01といった適当な小さな値が使われます。この値を大きくしてしまうと、関数の最小値のあたりを行ったり来たりして、最適解が定まらないという状態になります。上式によりパラメータが更新されなくなった場合、それは勾配が0になったことを表すので、少なくとも反復学習で探索した範囲では最適な解が求められたことになります。まとめロジスティック回帰の勾配法でパラメータを決定する手法を理解できました次回は勾配法の式を変形していき、実装に落とし込める形にします。前回の記事で、ロジスティック回帰の交差エントロピー誤差関数について、勾配法で最小化してパラメータを求める手法を説明しました。コメントをキャンセルメールアドレスが公開されることはありません。