医療職からデータサイエンティストへスマートフォン用の表示で見る医療職からデータサイエンティストへ統計学、機械学習に関する記事をまとめています。Rパターン認識と機械学習の第1章多項式曲線フィッティングについてまとめます。多項式曲線フィッティング多項式曲線フィッティングは、目的変数にうまくフィットするような線形モデルを作成します。今回はsin関数を多項式フィッティングしていきます。正規分布に従うノイズを加えた目的データtとして、以下のようなxの多項式で近似します。Mが次数を表しています。求めた値と目的変数tの値が最小になるようにwを決めれば良いので、このE(w)を最小化するようにwを求めます。三次式を見てみると、という式で近似できたことが分かります。グラフにしてみるとこんな感じです。⇩これを見ると、七次式の時が一番データに当てはまっているように見えます。ここで、それぞれの線形式がどれぐら当てはまっているかを数値で求めてみましょう。Error)と呼びます!数字嫌いな方は理解しなくても大丈夫です!先ほど赤い線の長さ合計が一番小さくなるようにwを決めました。0.235343グラフで見た通り、やはり七次式のRMSEが一番小さくなっています。先ほどのデータでは、七次式が一番当てはまりがよくなりました。次に目的変数のノイズを新しく選び、t2とした変数を作成します。0.5158258今度は三次式のモデルが一番当てあまりがよくなりました!一〜七次式のモデルで、元々のデータ(t)とテストデータ(t2)のRMSEをグラフ化してみると元々のデータ(train)では七次式が一番当てはまりが良いですが、テストデータではそうではないですね。グラフを見てみるとどうやらデータのノイズにもフィットしているようです。これを過学習と言います!過学習したモデルは元々のデータにはよく当てはまりますが、新たなデータに対しては当てはまりが悪くなります。過学習への対処法には様々な手法がありますが、ここでは2つ紹介します。サンプルの数を増やす先ほどの例では、サンプル数が10個に対して七次式、つまりパラメータの数が8個ありました。サンプルの数に対してパラメーターの数が多いと過学習しやすくなります。そこでサンプルの数を100個に増やしてみましょう!過学習が抑えらているように見えます。同じようにRMSEの値をプロットしてみるとおお!どうやらサンプル数を増やすと過学習の問題は減るようです。罰則項をつけるもう一つの方法が、係数wを求める際に罰則をつけることです。式で表すと第一項は通常の最小二乗法ですが、第二項で係数の二乗を足したものを入れることで、この関数を最小化する際に各係数が大きくなりすぎないように罰則がつきます。ちなみに係数の二乗和を罰則項とする方法をリッジ回帰(ridge)と呼びます。罰則を使った過学習への対処法はまた詳しくまとめたいと思うので、今回はふわっとだけ触れます!まとめ今回は多項式フィッティングと過学習についてまとめてみました。過学習問題は機械学習をする上で避けては通れないので、学習を続けていきます。文字列を対象したデータマイニング手法で...2019-07-20facebookの時系列予測パッケージ{prophet}を使って、ブログアクセス数を予測する。はてなブログPro大学院で疫学統計を学んでいます。データサイエンティストを目指して、初心者目線から統計学、機械学習など学んだことをまとめていきます。パッケージ{prophet}を使って、ブログアクセス数を予測する。medi_data0826スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。