参考文献はじめにみなさまこんにちは。データから、ある日の特徴語を抽出する方法を紹介しました。今回は機械学習を用いたテキストマイニングを行いたいと思います。機械学習とは「経験により自動的に改善していく」コンピュータープログラムの構築方法に関わる分野です。データを「ポジティブ」、「ネガティブ」なものに自動で分類する方法を紹介します。処理の流れ今回行う処理は次のような流れになります。用サーバを引き続き利用します。系のものをそのまま利用します。実際に作業を進めていきましょう。作成するために、事前にこれはポジティブなもの、これはネガティブなものという学習用データを用意し、どちらに近いか?という判定を行います。学習用データの作成方法ですが、基本的には以下の手順で行います。対象データの抽出ですが、この作業が作成したい分類器の性質に一番強い影響を与えることが多いです。汎用性と分類精度はトレードオフの関係にあります。狭い範囲のみを対象にする方が対象範囲に関しては高精度なりますが、学習させなかった範囲に対しては非常に精度が悪くなります。今回は高汎用性でそれなりの精度を目指すようなデータの抽出方法を選びます。汎用性の高くなるデータの抽出方法としてランダムサンプリングという方法があります。これは特に制約を設けず、全データからランダムに一定の件数を抽出する方法です。'~/tweets.tsv'-pの後はスペースを入れないので注意してください。区切りで対象のテーブルからランダムに5万件のデータを抽出することができます。選別し抽出していきます。地味な作業ですが、おそらく今回の高精度を達成するためには、出来る限り多くのデータを用意することが大切です。それぞれ同数を用意することが、今回はポジティブ・ネガティブそれぞれ2500件、合計5000件ほどを抽出しました。ポジティブなものには整数値の1、ネガティブなものには-1を割り当てます。格納してから追加してもよいですし、事前にファイルに記述してしまってから格納してしまっても問題ありません。今回は事前に全部記述した想定で進めます。