Kuromojiで形態素解析するLucenemecab-ipadic-NEologdが、Unicode絵文字に試験的に対応したと聞いて。Kuromojiの辞書に取り込んで、試してみようということで。Kuromojiに取り込めなかったのですが、@overlastさんに対応していただけました。いつもありがとうございます...。Kuromojiにmecab-ipadic-NEologdを適用したJARファイルを作ります。作り方は、すでに以前この作業を自動的に行うbashスクリプトを書いているので、こちらを使用します。Kuromojiに対して、mecab-ipadic-neologdの辞書を適用してビルドするbashスクリプトを書きましたhttp://d.hatena.ne.jp/Kazuhira/20150317/1426606053以下のコマンドを任意のディレクトリで実行して、スクリプトを取得します。build-lucene-kuromoji-with-mecab-ipadic-neologd.shビルド実行。org.apache.lucene.analysis.ja####################################################################今のスクリプトでは、実行時の情報をいろいろ出すようになりました(笑)。このエントリを書いている時点で使用したLuceneのバージョンは5.1.0、mecab-ipadic-NEologdの辞書の日付は20150526です。時間がかかるので、しばらく待ちます...。数分待つと、JARファイルがカレントディレクトリにできあがります。Luceneのcoreとanayzers-commonが必要です。KuromojiのJARファイルを、クラスパスが通った場所に配置します。sbtの場合は、libディレクトリ。/path/to/lib/lucene-analyzers-kuromoji-ipadic-neologd-5.1.0-20150526-SNAPSHOT.jarちょっと作為的ですが、このようなプログラムを用意。"今日は&#127830;と&#128031;どっちにしようかな。}}はてなに書いても、絵文字の部分が数値文字参照になってしまうので...絵文字の部分だけ抜き出すとこう書いています。このプログラムを実行すると、このような結果になります。※こちらも画像で絵文字を理解している上に、読みまで付いてます。先ほどのプログラムを出した時に、「ちょっと作為的」と書きましたが、これについて補足を。実は、先ほどのプログラムはAnalyzerではなくTokenizerを使用しました。"今日は&#127830;と&#128031;どっちにしようかな。*/絵文字が全部なくなってしまいます。今日は&#127830;と&#128031;どっちにしようかな。nullこれについてですが、現在は絵文字が「記号-一般」に分類されるため、JapanesePartOfSpeechStopFilterで除去されてしまいます。絵文字自体は複数の読みで登録されています。mecab-ipadic-neologd/build/mecab-ipadic-2.7.0-20070801-neologd-20150526/mecab-user-dict-seed.20150526.csv〜省略〜&#127830;,1285,1285,5484,名詞,一般,*,*,*,*,肉,ニク,ニク&#127830;,5,5,2024,記号,一般,*,*,*,*,肉,ニク,ニク&#127831;,1285,1285,5484,名詞,一般,*,*,*,*,肉,ニク,ニク&#127831;,5,5,2024,記号,一般,*,*,*,*,肉,ニク,ニク複数登録されていますが、記号、一般の方がコストが低いため、こちらが選ばれるようです。細かく確認されたい方は、Tokenizerの部分を以下の用に定義して(JapaneseAnalyzerと同じものです)、TokenFilterを外したりしてみるとよいでしょう。LowerCaseFilter(tokenStream)で、これらについて、@overlastさんに質問してみました。すみません、絵文字について質問させてください。質問に複数の疑問が埋め込まれているので勝手ですが分解して回答します。Q1「同一の絵文字が複数の品詞情報で登録されてるのは文脈によって解釈が変わるから?」A1「YES。Q3「例文を再現を試みたが再現できない。名詞,一般になっている部分が記号,一般になる場合がある」A3「例文については今後コスト調整をするので、その結果としてうまくいくようになる例や、いかなくなる例が出てくると思います。現状では添付画像のようなとても単純な構造な文以外では、大体記号,一般になると思います。今後の結果の改善にご期待ください。@overlastこのエントリの最初の方で参照していた資料を見ていたり、絵文字のコストの調整をお願いしていたのでわかりそうなものですが、なんとも微妙な質問の仕方をしてしまいました...。