it今回は自然言語解析をfastTextを使って実施してみます。fastTextはfacebookが公開している自然言語処理用のライブラリで、単語のベクトル化と文章分類を実施します。ソースコードはこちらになります。classification)」です。learning)では、単語をひたすら学習させて、似ている単語などを抽出します。?)といったアナロジー分析も実施できます。単語自体の間違いなどの発見などにも利用できます。UTF-8でエンコードされた文章を「skipgram」で学習させます。classification)では分類された文章を学習させます。文章がどのカテゴリに属するかや、タグの設定、感情分析などで利用されます。「__label__」のプレフィックスをつけた分類で文章を、「supervised」で学習させます。どちらも学習時や文章の判定などでは「分かち書きした文章」が必要になります。そこで今回はmecabのインストールを行い、mecab-ipadic-NEologd辞書を利用してみます。環境はCentOS7で構築しています。mecabとmecab-ipadic-NEologdのインストールインストールについての詳細は以前の記事にあります。・CentOS7のPython3でMeCabのmecab-ipadic-neologdのインストールと利用https://colabmix.co.jp/tech-blog/centos7-python3-mecab-ipadic-neologd/まず、mecabのインストールを行います。pythonのライブラリも一緒に入れてしまいます。mecab-python3続いて、mecab-ipadic-NEologdをインストールします。-y上記でインストール完了です。mecabの標準辞書を変更したい場合は「/etc/mecabrc」に辞書のパスを設定します。/usr/lib64/mecab/dic/mecab-ipadic-neologd-----------------fastTextのインストール続いてfastTextのインストールを行います。fasttext/usr/local/bin/fasttext無事インストールできているのが確認できました。pythonのライブラリもこのタイミングでインストールします。.こちらで利用環境が整いました。ソースからpythonのライブラリをインストールしているので、コマンドラインで作成したモデルを利用することができます。classification)での分類のテストfastTextで分類を行うために文章の教師データの作成を行う必要があります。今回は「livedoorグルメDataSets」を使ってモデルの作成を行います。ldgourmet.tarここで以下のプログラムで前処理をしつつデータセットの作成を行いました。前処理はこちらを参考にさせていただきました。text)できた学習用のファイルはこんな形です。