scikit-learn(sklearn)の日本語の入門記事があんまりないなーと思って書きました。どちらかっていうとよく使う機能の紹介的な感じです。英語が読める方は公式のチュートリアルがおすすめです。#1では自然言語に教師あり学習を適用するにあたって、BoWと形態素解析の導入を行いました。#2ではPoC開発などで用いやすい特徴語抽出とその有名なアルゴリズムであるtf-idfについてまとめられればと思います。いうことは、特徴語を決定する必要がある。このあたりは、Gensimというライブラリが良いそうなので、脳停止でそれ使います。あと、日本語文章の特徴語を抽出するということは、その前に形態素解析をする必要がある。これはMeCabを使えば良いでしょう。先日、前処理大全という本を読んで影響を受けたので、今回は自然言語処理の前処理とついでに素性の作り方をPythonコードとともに列挙したいと思います。最後に、LDAモデルについても同様にコーパスの形式を確認してみます。LDAの入力にはbowコーパスを使います。n=2なら「見た目・は」という2単語を1つのまとまりとして、CountVectorizerの処理を行います。ngramは分割の方法が2種類あります。ngramは「見た目は」というテキストを「見・た・目・は」のように文字ごとに分割してとngram処理を行います。表示j词在第i个文本下的词频。実装された日本語の形態素解析ライブラリ。形態素解析というのは文章から意味をもった最小の構成単位となる形態素を取り出すことをいう。JanomeはPythonで書かれた形態素解析のライブラリです。表示j词在第i个文本下的词频。TfidfVectorizer。