皆さんご存じの通り、データサイエンスアイドルとして知られています。今回のエントリではデータエンジニアリング視点で、データの加工プロセスを整理したいと思います。2019でお話ししてきましたhttps://takemikami.com/2019/07/14/IMS-Engineer-Talks-2019.html一般的な分類問題のデータ加工プロセスまずは、機械学習を使った一般的な分類問題のデータ加工プロセスを見てみます。左の赤枠が学習のプロセス、右の青枠が予測のプロセスです。教師データを使って学習を行い分類モデルを生成します。分類モデルを使って、分類結果を予測します。具体的には、以下の資料のスライド35〜37あたりがその流れになります。Mikamiスライド35,36が学習の部分で、スライド35が教師データ、スライド36が分類モデルです。スライド37が予測の部分で、分類結果です。この例では、シンデレラガールズのアイドルが教師データ、ミリオンライブのアイドルが予測の対象データです。「何つながりなのかな?」のデータ加工プロセス次に、「何つながりなのかな?」のデータ加工プロセスを見てみます。大きな違いは「予測」が無い事です。「どうして、その分類結果になったのか?」と言う説明を求めようとしています。分類モデルに含まれる回帰係数を、単語の分散表現を使って説明するプロセスになります。事前にバッチ処理で「単語の分散表現」「アイドル別の特徴行列」を用意しておけば。「つながりを表す単語とスコア」を返却するWebアプリケーションなどを作ることも可能だということがわかります。実運用を考えた、機械学習によるアプリケーションの実装を行う場合、このようにデータの加工プロセスを整理することが大切です。これできっと、データサイエンスアイドル小日向美穂が実装出来ますね。