コメントはまだありません概要テキスト文章をMeCabで形態素解析し、gensimでword2vecのモデルにする方法を整理しました。gensimgensimはpipで簡単にインストールできます。MeCabMeCabは少し手間です。以下にまとめているので参考にしてみてください。MecabをインストールしてPythonから使ってみたword2vecとはword2vecとは単語をベクトルとして表現することで、似通ったベクトルを類似語として抽出したり、単語同士の意味的な足し算・引き算等を可能にするアルゴリズムです。word2vecを使うことで、文章を要約するテキストを抽出したり、文章同士の類似度を評価することも可能になります。ベクトル化のイメージの理解には以下の方のサイトがわかりやすかったです。技術的なイメージの理解には以下の方のサイトがわかりやすかったです。学習までの手順は以下の通りです。テキストデータ読み込みここはどんなライブラリを使っても構いませんので、まずはword2vecで使いたい文章を用意し、読み込みましょう。データ整形split等の関数を使って、以下のように、1文ごとのリストになるようにデータを整形します。・]形態素解析まずは1文(sentence)を受け取り、分かち書き結果(texts)を返すファンクションを定義します。以下では、名詞だけを使う例を記載しています。#形態素解析#sentence(文章)を受け取り、texts(形態要素)を返すファンクション。#名詞のみを使う場合。[]上記のファンクションを用いて以下のように形態素解析を実施します。tokeData.append(tokenize(sentence))tokeDataには、以下のような1文ごと、1テキストごとの2次元配列が入っているはずです。['故郷']]word2vecを学習ここまでできればあとは簡単です。以下のようにword2vecにデータを渡して学習・保存しましょう。学習は結構時間がかかります。iter=3)#モデルの保存model.save("word2vec.gensim.model")モデル作成のパラメータについては以下のサイトが参考になりました。出来合いのモデルを使いたいあなたに上記のような処理でword2vecモデルを学習することができますが、データを集めたり、学習を待ったり、その妥当性を確認するのは結構大変です。そこで、この部分について、出来合いのモデルをダウンロードして使ってしまうという手があります。私がよく使わせていただいているのは、以下のサイトのモデルです。情報収集アプリのカメリオで使われているモデルということで、かなり学習されています。カメリオ開発者ブログまとめテキスト文章をMeCabで形態素解析し、gensimでword2vecのモデルにする方法を整理+出来合いモデルを使う方法を整理しました。便利なライブラリはどんどん活用していきたいですね。コメントをキャンセルメールアドレスが公開されることはありません。*サイト上に表示された文字を入力してください。プロフィール兵庫県在住の30代データサイエンティスト。Pythonを使った機械学習等によるデータ分析や、ウェブアプリ等のシステム開発に取り組んでいます。