ないブログに表示されています。新しい記事を書く事で広告が消えます。twittell.net形態素解析を試してみるハナシ。(Wed)今日は手持ちのプロジェクトを進めるために、形態素解析というものに手を出した時の話をしてみます。簡単に言うと形態素解析とは文章の形態を解析するものです。文章の形態を解析するというのは、文章の中で、どこからどこまでがその単語であり、その単語が名詞なのか動詞なのか・・・ということを調べるということです。いっても単語が名詞か動詞かなんていちいちプログラム判断させるのはアホらしいので判断には普通、辞書という物を使います。辞書にはその単語が名詞なのか動詞なのか、複数の意味を持つのか・・・と言ったいろんな情報が記述されていて、単語で検索をかけることで単語の品詞を検索できます。key.このように単語ごとにスペースで区切られていますので、単語のパースは簡単です。スペースごとに1単語としてみれば何の問題もありません。単語に対して文法に合う品詞を出力すれば完了です。日本語の場合はどうでしょう。私は私のカードキーを失った。我々日本人ならともかく、コンピュータにとってはどこが単語の区切りなのかがわかりません。形態素解析には文章内でどの部分を一単語として認識すれば正しい文章として成り立つかを調べながら単語の区切りを見つける解析エンジンが存在します。今回はその形態素解析エンジンを動かしてみようという話になります。(長い)今回はMecabというエンジンを使用します。Google日本語入力の中の人が開発したエンジンで日本語の形態素解析エンジンでは一般的なものです。今回はこれを、サーバー構築日誌(嘘)で構築したサーバー上で動かしてみます。WindowsであればexeをDLするだけで終わる簡単な作業なのですが、うちのサーバーはあの有名なCentOS。libiconvとか言うのをインストールしないといけないらしく、インストールを行います。互換性の関係もあるので出来る限りこのバージョンのほうがいいと思います。普通にwgetで落として解凍してmakeでインストールします。この子には起動していて欲しいのでviか何かを起動してld.so.confに追加します。viの操作方法はサーバー構築日誌にあるはず。less次にめかぶをインストールします。今のところ最新版は0.998ですが、0.99XシリーズはCentOSやCygwinでは総じてインストールが出来ません。いう訳で今回は0.98インストールします。installどっちにしてもmakeでエラーを吐きますが、macabと打ってコマンドが無いよって言われなければインストールはできています。公式によると、どうやらこのエラーは仕様のようです。g++(gccのC++版)コンパイラがないとインストール出来ないようですが普通にLinuxをインストーすれば標準で入っているので問題ないかと思います。g++関連のエラーを吐いた場合はg++をインストールすれば大丈夫です。次に辞書のインストールです。辞書も色々なものがありますが、ここでは推奨されているIPAの辞書を使います。installこんなかんじです。先にめかぶをインストールしないとエラー吐くっぽいですがそれ以外ではここではトラブル無し。やっても動かないって場合はlibiconvが動いてないかもしれません。ここまででめかぶのインストールは終了です。コマンドライン上でmecabと入力したらめかぶが起動するので適当に日本語の文章を打てばこのように結果を返してくれます。mecab私は私のカードキーを失った。助動詞,*,*,*,特殊・タ,基本形,た,タ,タ。記号,句点,*,*,*,*,。