機械学習は従来から使われている手法ですが、1998年にgoogleの検索エンジンができる時代背景のなか、2000年代半ば以降の第3次ブーム時に、機械学習は更に大きく発展しました。この記事では、第3次AIブーム前後に分けて、Beforeディープラーニング、Afterディープラーニングの順で機械学習について解説していきます。3種類の手法があります。不純度がもっとも減少するようにデータを振り分けるそれを、繰り返すが、木の深さやノードのデータの最小数は、ハイパーパラメータとして事前に決める不純度は、クラスの混じり具合を表す指標で、ジニ係数、やエントロピーがある。線形分離可能でないデータの分類は、カーネル法によって実現する。カーネル関数の計算によって実現するが、膨大な計算が必要であるため、カーネルトリックの手法を用いる。活性化関数パーセプトロンを使って解ける問題は、「直線を使って分離できるもの」に限られる。(線形分離可能)線形分離不可能な場合、多層パーセプトロンを用いると解決できる。交差検証(クロスバリデーション)→データをいくつかに分割し、順にホールドアウト法を行い、それぞれの精度を平均する→計算量が多くなる欠点、データが少ない場合でもホールドアウト法より信頼性高い機械学習のボトルネックは、分類のための特徴を用いて表される概念を人間が設計(特徴量設計)しなければいけないことです。特徴量設計をコンピュータ自身で解決出来る場合、第2次ブームの課題であった、「フレーム問題」「シンボルグラウンディング問題」も解決できる。コンピュータがデータから注目すべき特徴を見つけて、その特徴の程度を表す特徴量を得ることを期待しているが、その当時は実現できなかった。重回帰分析を行う場合は、多重共線性の検出に注意する。絶対値が最大値に近くなる特徴量のペアを同時に説明変数に選ぶと、予測の精度が悪化する。行列の計算パーセプトロンの判定のために、総入力を計算する。ディープラーニングディープラーニングとは・多階層のニューラルネットワーク・多層化による誤差逆伝播の精度が上がらないため、1層ずつ階層ごとに学習し、自己符号器(オートエンコーダー)という情報圧縮器を用いるディープラーニングのモデルを用いることで、複数の特徴量を見つけ出すことができる。・「ちょっと違ったかもしれない過去」のデータから学習をさせていく・ドロップアウトG検定の全体的な学習方法は下の記事にまとめているので参考にしてみてください。