Week6はじめにCourseraのWeek6を実施しましたので、私のメモを公開します。Courseraってなんだ?という方はWeek1から御覧ください。hypothesis)仮説関数はトレーニングセットとの誤差が少ないだけだと、オーバフィットしてしまう。オーバーフィットするとトレーニングセットに存在しない新しいサンプルの一般化に失敗してしまう。オーバーフィットの判断として、フィーチャが1つの場合はグラフを書いてわかるが、複数のフィーチャがあると無理だったりする。その新しいやり方として、トレーニングセットを分割して、70%をトレーニングセット、30%をテストセットとする。(ランダムに並べ替えてから。)テストセットの線形回帰目的関数は以下のように求める。\frac{1}{2m_{test}}\sum_{i=1}^{m_{test}}(h_\theta(x_{test}^{(i)})-y_{test}^{(i)})^2$$ロジスティック回帰の場合は以下。h_\theta(x_{test}^{(i)})$$分類問題におけるゼロワン誤判別計量。Variance高バイアスはアンダーフィット、高分散はオーバーフィットを表している。いいのはこの2つの平均を見つけること。トレーニング誤差$J_{training}(\theta)$は多項式の次数$d$を増やすと減少する。交差検証誤差$J_{cross-validation}(\theta)$は$d$をあるポイントまで増加させると減少し、そこを超えると上昇する。グラフにすると凸曲線を形成する。アンダーフィットしている場合、$J_{training}(\theta)$と$J_{cross-validation}(\theta)$は両方高くなり、近似する。オーバーフィットしている場合、$J_{training}(\theta)$は低く、$J_{cross-validation}(\theta)$は$J_{training}(\theta)$よりはるかに大きくなる。正規化項$\lambda$に関して。$\lambda$が大きすぎるとアンダーフィットし、0に近いとオーバフィットする。トレーニングセットが多くなればなるほど、$J_{training}(\theta)$は大きくなる。反対にトレーニングセットが多くなればなるほど、$J_{cross-validation}(\theta)$は小さくなる。高バイアス(アンダーフィット)の場合、$J_{training}(\theta)$と$J_{cross-validation}(\theta)$は共に高い値に落ち着く。双方の値がかなり近い値になる。トレーニングデータを増やしても有効ではない。高分散(オーバーフィット)の場合、$J_{training}(\theta)$と$J_{cross-validation}(\theta)$はかなり大きな差が出る。トレーニングデータを増やすことでその差を縮めることができる。層の少ない小さいニューラルネットワークの場合、相対的にアンダーフィットしやすい。1層内にたくさんのニューロンがある場合や隠れレイヤが多い場合はオーバーフィットしやすい。通常は少し大きめのニューラルネットワークを正規化してオーバーフィット対策をするのがベター。exampleシステムの設計について、スパムメールの判定をする例で説明する。教師あり学習を実装するにあたり一番最初にやることは$X$をどう表現するか。100個の単語を選ぶ。(スパムっぽい単語とかそうでない単語とか。)※一般的には手動ではなく、トレーニングセットのメールの中で、頻出した単語の上位を選ぶ。その単語がメールの中に登場したかどうかを0,1で表現し、Xの列ベクトルとする。全てのXが出揃ったら、それを訓練してスパムメールの分類に使用する。Analysisエラー分析ではシステムで間違って分類されたものを人が見て、何らかのシステムで検知できる箇所が無いか分析する。ミス分類されたメールの内容を分類する。)それぞれ何件ミス分類があるか確認することで、多いところが弱いことがわかる。弱いところのシステム的な条件を見つけてモデルに追加する。2\frac{PR}{P+R}$F1Scoreが高いPとRを使用するのが良い。requestStockLike3@KirariGlock東京でサーバサイドエンジニアをやってます。エンジニア歴は8年目でSIerを5年経験し、今はWeb系でオシゴトをしています。Web系の方が新しいことにチャレンジできて楽しい感じ。FollowDMM.com総合エンタテイメントサイト「DMM.com」を運営。会員数は2,900万人を突破。動画配信、FX、英会話、ゲーム、太陽光発電、3Dプリンタなど40以上のサービスを展開。沖縄での水族館事業参入、ベルギーでのサッカークラブ経営など、様々な事業を手掛ける。VENTURES」による出資や、M&Aなどを積極的に展開している。