機械学習に詳しくなりたいブログ機械学習に詳しくなりたいブログ機械学習や数学について勉強した内容を中心に書きます。記事は数学的に厳密でなかったり誤りを含んでいるかもしれません。ご指摘頂ければ幸いです。2018-01-04線形回帰を最小二乗法で解く線形回帰これも機械学習の1つなんですね。統計学のものだと思っていました。間の関係を求めること。どのような関数になるか?を求めるもの。します)は何cmか?みたいな感じですかね。何のヒントもなしじゃ予測しようがありませんから、複数のサンプルが与えられているわけですね。100人分の身長と体重のデータから関係式を求め、体重しかわからない人の身長を予測する、と。関係が例えばのように表されるものを指すようです。関係が最も適切になるか、を求めることが線形回帰の目標です。対してなんだそうです。線形回帰と非線形回帰の問題を解いてみたとか、TensorFlow入門~最小二乗法による非線形回帰は多分この勘違いをしていそうですよね。みたいなのだそうです。関係式を求めていきます。この入力と観測値の組み合わせは訓練データとも呼びます。関係は、でモデル化します。Mは解析者が任意に決定する値。最小二乗法で解析的に求めることが可能です。導出は、最小二乗法の解の導出に書きました。以下の式で求められます。訓練データ数分、行で並べたものです。M次多項式で近似する場合、0乗項も含めて要素数M+1の列ベクトルです。組み合わせは以下のグラフのようなものを用意しました。sin関数に適当なノイズを加えたものです。sin関数に適当なノイズを加えたものです。これをM=3、9でそれぞれ近似してみます。w3:2.2887e+01でした。)M=9の結果ちゃんと近似できていますね!M=9だと、訓練データ数に対して多項式の表現能力が高すぎて過学習を起こしていることも確認できました。この過学習という現象は、訓練データを丸暗記してしまったような状態で、学習によって賢くなったとは言えないんですね。複雑なモデルで機械学習を行うと厄介な問題になるとのこと。過学習は正則化最小二乗法によって防ぐことができます。(参考:正則化最小二乗法)Excelの近似式と比較ちなみに、最小二乗法による近似式の計算はExcelの機能にもあります。グラフのプロットを右クリックして「近似曲線の追加」を押せば、多項式近似のグラフと関係式が表示できます。結果はこうなりました。Pythonで求めたM=3のときの係数と全く同じ値が表示されました。今回の例は、説明変数が1つで単回帰と呼ばれ、説明変数が複数の場合を重回帰分析と呼ぶそうです。重回帰分析も最小二乗法で解いてみました→重回帰分析を最小二乗法で解く今回使用したソースコード。1引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。