Giants2019-04-02自然言語処理で遊んでみる(その3:テキスト分類)NLPしばらく大幅に脱線していましたが、以前こんな感じのことをやっていました。tsunotsuno.hatenablog.com今回も参考にさせていただいたのはこちら。単行本(ソフトカバー)この商品を含むブログを見る初学者かつエンジニア向けの大変良い書籍だと思います。理屈より動くモノ重視な感じがして、個人的にはこういう本の方が実用的かと思ってます。自然言語処理の基本自体はわかったんですが、実際にそれをどう活用していくか、具体的な話になっていきますね。内容としては、ざっくりこんな感じでした。ラベリング書いてある事そのままやってもあんまり意味ないので、自分で少しずつ作っていきたいと思います。テキスト分類テキスト分類についてはこんな感じに紹介されています。テキスト分類とは、テキストをその内容にもとづいてあらかじめ決まっているカテゴリに仕分けることです。自然言語処理入門)文書の内容に応じて、分類していくタスクになります。やり方としては次のようなやり方が紹介されています。Machine)RNNルールベースルールベースはざっくり言えば、特定の単語のある/なしを組み合わせて文書をブール代数的に分類するやり方です。イメージはこんな感じ。単語の並びを考慮しないのが一般的な気がします。要するにグループを特徴づける単語がどれだけ含まれているかで分類するわけです。統計ベースルールベースとは変わって、今度は分類過程はある程度ブラックボックスにするやり方です。教師あり学習の場合は、事前に文書と文書が属するカテゴリのペアで構成される教師データが必要になります。イメージはこんな感じです。ルールベースでは、着目する単語を人間が判断して決定しますが、この方法では分類の判断に使用する情報はすべてコンピュータが自動で重み付けする点が大きく異なります。SVMSVMについては正直あんまり詳しくないんですが、こんな感じらしいです。drumato.hatenablog.comなるほどです。本書では線形SVMが紹介されていますが、非線形SVMなるものもあるようで、うまいこと使えばいろいろできるのかもしれないですね。RNNLSTM(RNN)については過去に紹介しているので、そちらをご参照。tsunotsuno.hatenablog.comtsunotsuno.hatenablog.comSVMのやり方と大きく違うのは、単語の並びを考慮している点です。これによって、コンテキストまで意識した分類が可能、、、のハズです。非常に勉強になりました。テキスト分類はちょうどlivedoorのコーパスを使って遊んでいたので、そっちの参考にもなりました。08:07自然言語処理で遊んでみる(その3:テキスト分類)Tweet関連記事2019-09-22推薦システム入門(その1:古典的手法)最近こちらの本を購入しました。ニュースコーパスで遊んでみる(3回目)この前はこんな感じにやってました。絶賛勉強中なので、その兼ね合いでちょっ...2019-02-17自然言語処理で遊んでみる(その2:テキストデータの解析)この前はこんなことをやっていました。(1)月別アーカイブはてなブログをはじめよう!nogawanogawaさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。