」といった表現をすることもありますが、やっていることは同じです。変数$x$の、係数(この例だと$a$)と指数(この例だと$n$)と指数から1を引いた$x^{n-1}$の積になります。変数に関わらない項(定数:この例だと$b$)は0になります。1$になるということです。b$で微分すると1になることを表します。ちなみにちなみに、$x$の0乗は1です。$$という関係を並べると理解しやすいと思います。\frac{1}{x^5}$です!分数も公式に従って解析的に微分の計算ができます。この内容が必要になる場合は、上の内容を適宜注釈として書いているので、今すぐに覚えなくても大丈夫です。プログラムからも確認してみましょう。接点の$x$軸の値を5とします。これも作図してみます(変数(オブジェクト)の値を変えただけです)。変数が複数ある関数の場合に、1つの変数のみに注目して他の変数を定数として微分することを偏微分と呼ぶのでした(4.3.3項)。解析的に求める偏微分も微分と同様に、公式に従って求められます。後の項はあくまで$x_2$であって$x_1$とは無関係なので、0になります。$x_2$で偏微分する場合は$x_1$を定数として扱います。x_2}$を示す$\partial$は、$d$のギリシャ文字に由来する文字です。要は違う(でも意味合いは近い)記号を使うことで、微分と偏微分を区別しているだけです。レジュメ(本)では、$y$を$x_1$で偏微分することを$x_1$に関する$y$の微分のように、微分と言うことが多々あります。$$を$x$で微分することを考えます。$$によって構成されているといえます。このように、複数の関数によって構成される関数を合成関数と呼びます。$$で求めることができます。x}$」の積のように、それぞれの関数の微分の積で求められます。合成関数の微分のことを連鎖率とも呼びます。(流石に最初の式の括弧の指数を下ろしてきて指数から1引いただけで求まるわけではないですよ。これは括弧の中身が簡単だったからなだけです。)これで証明になる訳ではありませんが、最初の式を展開して微分してみましょう。連鎖率と計算グラフ合成関数$z$を構成する2つの関数(計算)を計算グラフで表現したものが図5-7になります。この項では、合成関数の計算を計算グラフから解釈していきます。$$の計算は、変数$x$と$y$が「$+$」(加算)ノードに入力し、$t$を出力することを視覚的に表しています。$$の計算は、変数$t$が「$**2$」(2乗)ノードに入力し、$z$が出力されます。この流れを順伝播と呼び、式(5.1)の計算を表します。次に合成関数の微分、つまり式(5.4)を計算グラフで考えます。$$が「$**2$」ノードに入力します。これは1なので、式(5.4)では省略されています。これが次の「$+$」ノードの入力となります。$$となり、連鎖率の式と一致します。合成関数(グラフ全体)の微分は、各関数(各ノードあるいは「局所的な計算」)の微分の積で求められることを、計算グラフで表現できることが分かりました。これはどれだけ複雑な関数になっても1つ1つの計算をノードで表し、そのノードごとの微分の積で求められます。変数が複数ある場合も、逆伝播の入力と目的の変数とをつなぐノードの微分の積で連鎖率の式を表現しています。ノードの微分の積を丁寧に言うと、各ノードの順伝播の出力の入力での微分の積です。これが目的の変数の方へと流れていくことから、逆伝播と呼びます。本としては余談ですが、合成関数の微分は次のような簡易表現をよくされます。$$で構成される合成関数を次のように書きます。$$2つの関数の微分の積になります。微分を$'$(ダッシュ)で表現します。この表現だと、変数が複数ある場合にはどの変数での偏微分なのか明示されないため、文脈等で判断する必要があります。Learning』オライリー・ジャパン,2016年.おわりに連載再開!5章の中でこの節をほぼ最後に書いたので、他の分は既にほぼ完成しております。いう訳で10日ほど続きます!よろしくお願いいたします。この章は数学の話がメインなので大変でした。基本的な内容になるほど拙さに恥ずかしさが増すので、正直この記事は上げるか迷いました。(レジュメとして)書いたので記事にしておきます。大体他のも気付けないだけで拙さに違いは、、無知の無恥です!恥ずかしさを感じるのも感じないのも意欲になったりならなかったりするので、それはそれで。あと、1年後くらいに書き直すとレベルアップを感じられて善きですよ(意外と気力がいるけど)。あ、間違い等あれば教えてほしいです。これは本当にお願いします。『パターン認識と機械学習』の独学時のまとめです。00:04何かおかしな内容があれば、ご指摘いただけるととても嬉しいです。【R】円周の作図5.3:正射影ベクトルの導出【『スタンフォード線形代数入門』のノート】スポンサーリンクはてなブログをはじめよう!anemptyarchiveさんは、はてなブログを使っています。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。