Pythonsugi【コード公開】【Python】テキストマイニングしてみた〜モデル作成〜ツイートシェアはてブ送るPocketTweet汎用性の広いPythonを0から習得するためのフロー及び実際にPythonで開発を行い開発案件を獲得するまでの筋道について解説しているチュートリアル資料とコーディングの参考となる実際にPythonを使って作ったツールのソースコードを無料で配布していますので、こちらも併せてご覧ください。初心者・入門者でも30日間で学習できるおすすめPython学習方法おすすめのプログラミングスクールの比較・特徴をまとめた記事を執筆しております。Udemyの主要コースWord2Vecについてこの記事を読み進める前に、よりテキストマイニングの内容を理解したい方は、下記のURLにてチェックしてみてください。【Python】テキストマイニングとは〜分析の重要性〜2018.03.28「Word2Vec」とは、文章中の語句をベクトルに変換するツールです。単語同士の繋がりに基づいて単語同士の関係性をベクトル化するわけです。ツール名通り、単語をベクトルとして表現することで、その単語の意味を捕らえる手法となります。語句と語句の類似度を測ることができるわけですね。GensimとインストールについてWord2Vecを実現するツールとして、いくつか挙げられるライブラリがあります。今回は、実行速度が速く、Pythonから手軽に利用できるものを考えると、「Gensim」ライブラリを使いたいと思います。この「Gensim」は、自然言語処理のためのライブラリです。テキスト処理のための多くの機能を備えており、Word2Vec機能も備えています。「Gensim」はのインストールは、pipコマンド一発でインストール可能です。テキストマイニングを試しに行ってみたい方は利用してみてください。以下にインストールのコマンドを記載します。今回は、model-making.pyとword2vec.pyの二つのファイルを作成します。それぞれに行うプログラムを記載して説明していきます。re1では、今回のテキストマイニングに必要なライブラリとして、python解析器janomeとベクトル変換ツールword2vecをインポートします。テキスト一行ごとに処理を行う(データクレンジング)ため、正規表現マッチング操作を提供しているreもついでにインポートしておきます。bindata2では、任意で用意しておいたテキストファイル(何か文章を入力してあるファイル)を読み込みます。[]3では、janomeを利用して形態素解析を行うため、インスタンスを作成しておきます。".join(r)).strip()results.append(rl)print(rl)4では、テキストを一行ごとに処理しています。変数linesに対して、読み込んでおいたファイルデータをtextに代入し、その変数を単語ごとに処理しています。forループにて、正規表現マッチング操作を行ったあと、一文字づつ形態素解析しています。5では、得られた形態素解析後の単語の品詞を必要な形で分かち書きさせていきます。fp:fp.write("\n".join(results))6では、用意しておいた任意のテキストファイルにて、結果をファイルに保存します。sg=1)model.save("text_2.model")print("ok")7では、分かち書きしておいたテキストファイルを読み込み、word2vecにてモデルを作成します。word2vec()メソッドにてパラメータを与えて実行すると、モデルを生成します。生成したモデルは、save()メソッドにてファイルを保存できます。word2vec1では、上記のファイルと同様、word2vecをインポートします。",".join(n))2では、モデル作成しておいたファイルを読み込んで、任意で決めたある単語に関する類似度を表示させます。★指定した単語の類似語句の表示結果★また、今後もテキストマイニングの学習を続けていく場合は、テキストデータに関する情報を理解する力やビッグデータをいかに活用していくかを考えなければなりません。必要となるのがデータを利用して何にテキストマイニングが有効になるのか、実例をもとに根拠を持って取り組まなければならないです。いったプログラミング言語pythonによるデータアナリストの知見や経験を取り込んだ学習教材として良書が以下の本になるので、合わせて検討して頂ければと幸いです。リンクおすすめしたいプログラミング学習プラットフォーム独学・未経験から始める人も少なくないので、プログラミング学習の継続や学習を続けたスキルアップにはそれなりのハードルが設けられています。プログラミング学習においても、学習者によってはすでに学習対象とするプログラミング言語や狙っている分野が存在するかもしれません。そのため、さらに費用を抑えてピンポイント学習に取り組みたいと考える人も少なくありません。そこで費用を抑えた上でプログラミングに取り組みたい人へ、オススメしたいプログラミング学習プラットフォームを紹介していきます。UdemyUdemyは、世界最大級のオンライン学習プラットフォームとなります。世界中の学びたい人と教えたい人をオンラインでつなぐサービスとなっており、Udemyは米国Udemy,Inc.が運営するプラットフォームで日本ではベネッセが事業パートナーとして協業をしています。講座数:約10万お手頃な価格帯の豊富なコンテンツ1講座あたり数千~数万円程度で実践的なスキルアップが可能となっています。講座は一度購入すれば視聴期限なく受講することができます。30日返金保証もついているので安心して始めることができます。学びやすい多彩な機能0.5~2倍の変速機能で自分のペースで受講を可能にする機能や、専用アプリを利用することでスマホからオフライン環境でも学習対象となる講座の視聴が可能です。講師にアプリ・サイト等の直接掲示板から質問ができるため、疑問を解決し自学自習をサポートしています。どんな人が対象者になるのか?Udemyを検討するにあたって、次のような内容で悩んでいるあるいは目的としている人にオススメすることができます。ために自己投資を検討している人これらの内容に当てはまる人は、利用しやすい環境が整っています。Udemyの主要コースUdemyには数多くの講座ありますが、分野ごとに学習対象を区分けしておきましょう。登録してすぐにでも学習が始められるので、特化した分野を以下にまとめておきます。プログラミング学習は時間を無駄にせず、素早く学習を始めることも大切なので、一分一秒でも習得したいプログラミングスキルに時間を費やしましょう。コメントをキャンセルメールアドレスが公開されることはありません。*サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。【コード公開】【Python】テキストマイニングしてみた〜形態素解析〜RECOMMENDこちらの記事も人気です。APIによるフォロー・アン...ABOUTこの記事をかいた人sugi大学卒業後、IT企業に就職を果たす。システム開発・人工知能に触れながら大手企業と業務をこなす。2年半後脱サラし、現在フリーランス活動中。2019年2月から起業する予定。自社サービス及び製品を開発し、売り上げを立てている。