線形単回帰で推定する回帰係数の精度を評価する方法を読んだのでまとめてみる。真の直線はわからないのだけれども、真の直線があると仮定した上で推定した回帰係数との関係を考えることで、回帰係数の精度について話せるようになる。回帰係数の導出データポイントが\(n\)個ある状況。\)回帰係数\(\hat{\beta_0}\)と\(\hat{\beta_1}\)を使って線形回帰したい。square)で表す。データポイントは既に与えられているデータなので、\(\hat{\beta_0},\hat{\beta_1}\)の関数。\hat{\beta_0}-\hat{\beta_1}x_n)^2\end{eqnarray}RSSを最小にする\(\hat{\beta_0}\)と\(\hat{\beta_1}\)を求めるために、\(\hat{\beta_0}\)、\(\hat{\beta_1}\)それぞれで偏微分して\(0\)として解く。なんでそれぞれ個別に偏微分して0と置いて良いかは、RPML読もうとして力尽きたときに理解したので省略。\hat{\beta_0}\),\(\hat{\beta_1}\),RSSの3次元の図があって、確かにそれで良さそうな予感。\\\end{eqnarray}以下のようになるらしい。\(\bar{x}\)、\(\bar{y}\)はデータポイントの標本平均。データポイントがわかれば計算で求まる。\bar{y}-\hat{\beta_1}\bar{x}\end{eqnarray}母回帰直線の推定データポイントが同じであれば\(\hat{\beta_0}\),\(\hat{\beta_1}\)は同じになるけれども、データポイントを取り直して異なるデータセットにすると、\(\hat{\beta_0}\),\(\hat{\beta_1}\)は微妙に違う値になる。データセットを大量に用意したとして、\(\hat{\beta_0}\),\(\hat{\beta_1}\)を計算しまくると、どこかに収束するんじゃなかろうか。標本が大量にあると標本平均は母平均に収束する。標準偏差はより小さくなる。データが大量にあると、母平均からのズレが小さくなっていく。標本の平均は母集団の平均\(\mu\)に収束する。一つの統計量である標準偏差はどうか。意外と簡単にわかるようなのでまとめてみる。下準備として、加法\(\hat{\beta_0}\),\(\hat{\beta_1}\)は母回帰直線からどれくらいばらついているのか。\(\hat{\beta_0}\),\(\hat{\beta_1}\)の分散は以下を使うらしい。両方に出てくる\(\sigma^2\)は、母回帰直線と回帰直線の差となる項の散らばり度合い。\)としたときの\(\epsilon\)の分散。-\bar{x})^2}\end{eqnarray}\(x_i\)が散らばれば散らばるほど、\(\sigma_{\hat{\beta_1}}^2\)は小さくなる。データポイントの\(x\)成分が小さい方から大きい方まで含まれれば、傾き\(\beta_1\)を推定しやすくなる。\(\bar{x}=0\)であるならば、\(\hat{\beta_0}\)の散らばりは、\(\hat{\mu}\)の散らばりと等しくなる。最終的に求めたいのは不明な\(\sigma^2\)だが、\(\sigma^2\)はデータから計算できる。Error)はRSSから推定する。\begin{eqnarray}\sqrt{\frac{f(\hat{\beta_0},\hat{\beta_1})}{(n-2)}}\end{eqnarray}\(\hat{\beta_1}\)の標準偏差がわかったので、95%信頼区間を求めることができる。前の記事で線形単回帰において訓練データから回帰係数を求める方法を書いてみた。回帰係数の95%信頼区間を求めることができた。...sklearnに頼らずRidge回帰を自力で書いてみて正則化項の影響を考えてみるテストタイトルの通り。Losso回帰と違って損失関数を偏微分するだけで出来そうなのでやってみる。(+S3)やりたいことは以下の2つ。x_0},\frac{\p...勾配の可視化2変数関数\(f(x_0,x_1)\)を各変数で偏微分する。この世界に中途半端に金をかけることの無意味さを理解したつもり。そのお...おっさんが数値微分を復習する引き続き、ゼロDの写経を続ける。今回は、学生の頃が懐かしい懐ワード、数値微分。Deepに入れないけれどおっさんの復習。近所の多摩川がマジで溢れそうでそれどころではなく......MNISTの手書き文字認識用データ取得クラスの作成MNISTから手書き文字認識用のデータセットをロードするクラスを作ってみた。出力層の総和を1にするように調整できれば、出力層を確率としてとらえることができるようになる。順伝搬(forward)はNumpyの積和計算を使って超絶簡単に記述できる。どちらの状態でもない過渡状態を経て状態が遷移するみたい。今回知...ansibleでaws-cliをインストやりたいことは以下の2つ。AFFINGER4.。