Word2Vecにかけるここまでで分かち書きテキストを用意できたので、ようやく本題。gensimというライブラリを使う。gensimのインストールcythonも入れた方が早いらしいので入れる。実行し、そのままREPLで以下を全部実行するのが手軽。時間がかかるので注意。いうファイルが保存される。これがWikipediaのWord2Vecモデル。ハイパーパラメータの設定についてモデル作成時に一番重要なのは以下の部分。他にも指定したいパラメータがあればここを見ながらやる。workers=4)size単語ベクトルの次元の数。windowこの単語数だけ、前後の単語を見る。min_countテキスト中に現れる回数がこの数未満の単語は無視。workers訓練時に使うスレッド数。使ってみるモデルの読み込みいろいろ試す前に、まずモデルを読み込んでおく必要がある。(REPLでモデルの作成をした直後は、既にメモリ上にモデルが載っているので、改めて読み込まなくていい。model.wvなおwvのクラスは以下になる。このクラスのドキュメントに使い方が載っている。'gensim.models.keyedvectors.Word2VecKeyedVectors'>似た単語の表示wv.similar_by_word('foo')でわかる。'bar')でわかる。0.5437194108963013)]感想やってみるだけならわりと簡単にできた。エポック数を増やしたり、前処理を厳密にやらないといけない。想定通りの結果になった。Qiitaスクリプトにまとめてある。人生成り行きやや古いがあっさり書いてあって読みやすい。Analyzer公式。mecab-ipadic公式。embeddings公式。モデル作成時はこれを見る。embeddings訓練時のパラメータの説明など。モデルを使って何かやりたいときはこれを見る。六本木で働くデータサイエンティストのブログgensim入れるときはcython入れると爆速になるという話。書いてあるところがあるのでそこを参照。