意味・用途・エンジン・API・ライラブリ・課題を解説Tweet自然言語処理の一過程である形態素解析。自然言語処理(NLP)の一部で、自然言語で書かれた文を言語上で意味を持つ最小単位(=形態素)に分け、それぞれの品詞や変化などを判別することです。「庭には二羽ニワトリがいる」という文章を庭(名詞)/に(助詞)/は(助詞)/二(数詞)/羽(助数詞)/ニワトリ(名詞)/が(助詞)/いる(動詞)のように形態素に分解し、意味を割り出します。Processing)とは、言葉や文章などコミュニケーションで用いる「話し言葉」や論文のような「書き言葉」など、自然言語の持つ意味を解析する処理技術です。形態素解析の用途と3種類のツール形態素解析は、大量のテキストの文法上の属性を明らかにすることで、そのテキストの意味理解に使われています。ニュースアプリSmartNewsは、形態素解析を用いて、見出しを読みやすくなるよう、自動的に改行しています。Googleなどの検索エンジンでは、検索フォームに入力されたキーワードをそのまま処理するのではなく、形態素解析で最小単位にまで分割しています。食べる、たの3つの機能があるものです。形態素解析ツールは大きく分けると、「エンジン」「API」「ライブラリ」があります。今回はその中でも、実際に「使える」と評判のツールをご紹介します。形態素解析エンジンMeCab「MeCab」は、オープンソースの形態素解析エンジンです。jdic、UniDicなど多数あり、追加学習も可能です。高速かつ使用できる言語も多いため、初心者はMeCabから始める人が多い傾向があります。形態素解析ツールです。JavaScriptで動くため、スマホやタブレットでもページにアクセスすればテキスト解析ができます。JavaScript製のテキスト解析では、唯一オンライン学習機能を持っています。https://github.com/rakuten-nlp/rakutenma言語:JavaScriptkuromojikuromojiは、Javaで開発したオープンソース日本語形態素解析エンジンです。見出し化、漢字の読み方であり、複数の辞書のバックエンドをサポートしています。読み見出し表示その他KyTeaKyTea(京都テキスト解析ツールキット)は、日本語など、単語(形態素)分割を必要とする言語のための一般的なテキスト解析器です。読みの推定ができる特徴があります。http://www.phontron.com/kytea/index-ja.htmlJUMANJUMANは、計算機による日本語の解析の研究を目指す多くの研究者に共通に使える形態素解析ツールです。使用者によって文法の定義,単語間の接続関係の定義などを容易に変更できるように配慮されている特徴があります。APIHTTPリクエストでアクセスし、リクエストパラメータはxmlで返されます。HTTPメソッドはGETでもPOSTでも可能です。制限は24時間で5万件まで。1リクエストの最大サイズ10KBまでとなっています。http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.htmlその他テキスト解析機能かな漢字変換...ローマ字、ひらがなを分類しますルビ振り...ひらがな、ローマ字のふりがなをふります校正支援...文章の入力ミスや不適切な表現がないかチェックします日本語係り受け解析...日本語文の係り受けを解析しますキーフレーズ抽出...キーフレーズを抽出しますgooラボHTTPSリクエストでアクセスしリクエストパラメータはJSONで返されます。POSTのみの受付でGETは受け付けません。GitHubでのアカウント取得が使用条件にあり、使う際にはクレジット画像の表示も必要になります。API...人名や地名などの固有表現を抽出します語句類似度算出API...発音をくらべて類似度を出しますひらがな化API...ひらがな、カタカナに変換します商品評判要約API...商品レビューからインデックスを作成しますキーワード抽出API...キーワードを抽出します時刻情報正規化API...時刻情報を抽出し正規表現化します日本語テキスト解析ライブラリjanomepythonで形態素解析をしたい場合。mecab-pythonをインストール。いう面倒な手順がjanomeだとpipコマンドでインストールして使えます。https://github.com/mocobeta/janomeTinySegmenter『分かち書き』しかできません。jsなのでブラウザ上で動作しわずか25バイトのソースコードで新聞記事だと95%の正解率で分かち書きしてくれます。辞書を使用しないためブログなどのくだけた文の解析精度は低いです。近年、重要性が叫ばれている機械学習やチャットbot開発などの最新技術を使うにあたり、前提として必要になるのが形態素解析の技術です。ある程度成熟していますが、いつの時代も生まれる新しい言葉にも対応していかなければ、置いていかれてしまいます。この分野においても、AIによる自律学習はすでに始まっており、今後の展開に期待です。編集部Ledge.ai編集部です。最新のAI関連技術、テクノロジー、AIのビジネス活用事例などの情報を毎日発信しています。Wed精度は8割程度。