よる半教師あり学習をやってみます。ディープラーニングは大量のラベル付きデータ(正解付きデータ)があると学習が上手く行くわけですが、大量のラベル付きデータを作成するには、かなりのコストが掛ります。ビッグデータから大量のデータを収集することは比較的容易な訳ですが、それにいちいちラベル付けする作業が大変なのです。考えてみれば、我々も赤ちゃんの時に、「これは犬だよ」、「これは猫だよ」と教えられるわけですが、教えられるラベル付きデータはほんの少しで、後は大量のラベル無しデータを見ているうちに、犬や猫を正確に識別できるようになります。具体的な学習方法ですが、まず少量のラベル付きデータで、ラベル毎に大体の境界線を把握します。その上で、ラベル無しデータをそこにプロットし境界線の方向(一番間違えやすい方向)に少し動かすノイズを加えます。「ラベル無しデータ」と「ラベル無しデータ+ノイズ」の予測確率分布の差が最小になる様な重みwとバイアスbを学習するというものです。