形態素解析器の比較mecabNLP形態素解析JUMANSudachi形態素解析は日本語処理の初歩であり、文を単語に分割したり、品詞や活用形、基本形を分析するために行います。本記事では形態素解析のツールをいくつかの出力例を交えて比較していきます。(SentencePieceでいいじゃん、という人はお呼びでないですが、そういう方には、Twitterのトレンドが変な分割になってたら嫌では?と申し上げておきたいです)MeCab言わずと知れた形態素解析器。MeCabを使うという人は今なお多いことでしょう。高速であるということと、システムと辞書が分離されているのが特徴です。Pythonから使うのも簡単になりました(Janomeというものがありましたがmecab-python3の方が高速です)。Javaから使いたい人はKuromojiを使えばmecab(+ipadic)相当の結果が得られるはずです。辞書はIPA辞書が推奨されていますが、Unidic辞書やNEologdもよく使われます。さんからご指摘を頂きました。MeCabのPythonラッパについては、現在mecab-python3のメモリリーク問題を解決するPRが放置されている状況なので、fugashiかnatto-pyを使う方が良いそうです。さんより、mecab-python3の件のPRはマージされたそうです。IPA辞書IPA辞書は学校文法に似た品詞体系なので非常にわかりやすいです。導入もたいへん楽です。mecab太郎が歩いている。動詞,非自立,*,*,一段,基本形,いる,イル,イル。記号,句点,*,*,*,*,。