Ginzaを使ってNLPでよく使ういくつかの処理を動かしてみる。PySparkを利用して日本語版Wikipediaの全文を取り込んでわかち書きし、word2vecに放り込んでみる。XMLのパース、わかち書き、word2vec等の全行程をPySpark上で行う。Janomeは導入が手軽なピュアPython形態素解析ライブラリ。mecabやjuman++を導入する手順踏むほどでもないような軽い解析処理を行うシーンで使うと便利。個人的にはPySpark上でわかち書きをする時に利用しています。形態素解析のJunam++について、インストールからPythonでの形態素解析の実行までを行う。OSはUbuntu系を想定。それ以外のOSを利用している方はaptのところを適宜読み替えてください。(1)リンク株式会社iMindスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。