blog2015年12月29日火曜日2015年を画像一枚で振り返るPythonのwordcloudというライブラリを使って今年一年を振り返ってみました。今年の振り返り今年書いたブログの内容をもとに作った画像が上です。入ってくるよう精進したいです。re.compile(r'^[+-/%\^\[\]\(\)\{\}「」()[]。NLP2015年12月28日月曜日LDAで日経225企業をクラスタリングする最近LDAという言葉をよく聞くので、LDAを使って何かをやってみることにした。使ってみることを重視するため、深い/細かい話には立ち入らない。Allocationの略。トピックモデルの一種。ドキュメントは複数のトピックから成り立っていると仮定。入力=ドキュメント集合、出力=各ドキュメントのトピック分布、各トピックの語句分布やること日経225の企業をwikipediaの文章を元にクラスタリングする。事前準備として、225銘柄一覧に記載されている企業のwikiページのHTMLを取得しておく。HTMLはhtml/配下に企業名.htmlというファイル名で格納しておく。リテイリング.htmlJFEホールディングス.htmlJXホールディングス.htmlKDDI.htmlMS&ADインシュアランスグループホールディングス.htmlNTN.htmlNTTデータ.html前処理html/配下に格納されたHTMLを前処理して、text/配下に格納する。行った前処理は以下のとおり。前処理したテキストを使ってLDAモデルを学習する。"w"))クラスタリングトピック配分を特徴量としてK−meansでクラスタリング。".join(companies)結果それっぽく分かれているところを色つけしてみた。NLP2015年12月27日日曜日word2vecで遊ぶMeCabを入れたので、word2vecで日本語文章を解析して遊んでみた。gensimのインストールPythonの場合はgensimをインストールすると、word2vecが使える。gensimはドキュメントからセマンティックなトピックを自動的に抽出する機能を提供するライブラリ。gensim使ってみる太宰治の「人間失格」を使ってモデルを学習させて、単語の足し算、引き算などをやってみた。negative=[u'罰']))ちょっとハマったところMeCabはstr型しか受け付けないため、unicode型の文字列を処理したい場合はエンコードしてからMeCabに渡す。word2vecでモデルを構築するときにデフォルトだと頻度が5未満の文字は無視されてしまう。頻度がどれくらいなら無視するかはmin_countパラメータで設定できる。vocabulary"」みたいなエラーが出てハマってしまった。結果ドキュメントのサイズが小さかったので、それほど面白い結果はえられなかったが、まあまあ面白かった結果だけ載せておく。NLP2015年12月26日土曜日MeCabをインストール遅ればせながらMeCabを使ってみた。MeCabとは?形態素解析を行うソフト。形態素解析とはテキストを最小構成要素に分解し、それぞれの要素の品詞を判別する作業のこと。インストールMacにインストールした。mecab-ipadicmecab-ipadicはmecabが形態素解析を行う際に使用する辞書。「天は人の上に人を造らず人の下に人を造らず」と言えり。助動詞,*,*,*,文語・リ,基本形,り,リ,リ。記号,句点,*,*,*,*,。