文書分類に挑戦するまとめ参考Facebookでは一日500テラバイト以上のデータが新たに生み出される。その多くは画像・動画・テキストといった非構造データのはずだ。日夜、ユーザー数を拡大させるためにこういったデータを解析し、知見を得ている。ユーザーをよりFacebookに滞在させるためにもユーザービリティの向上をしていかなければならないのだろう。Research」という人工知能研究所がある。先日、その研究所から「fastText」という自然言語処理ライブラリがオープンソースプロジェクトとして公開された。このツールはいったい何をするものなのだろう?そして、どんなことが出来るのだろうかと思いまとめることにした。この記事を読み終えた時には、fastTextとは何なのかfastTextを使って何ができるのかfastTextの使い方が分かることだろう。今後Facebookの方向性も分かるかもしれない。classification!と紹介されている。テキスト分類において大発明というよりは「より良く、より高速化」したものなのだろう。何をそんなに高速化したというのだろうか。自然言語処理の学習を高速化するツールfastTextは大きく分けて2つの高速化を達成しているようだ。単語のベクトル表現をつくることテキストを分類することである。単語のベクトル表現をつくるというのは、のちに紹介する「Word2Vec」のことだ。ディープラーニングの素性に単語のベクトル表現を使えるため、自然言語処理に応用するときには抜群に相性が良いと考えられている。テキスト分類の速度も向上している。これまで5日かかっていたタスクがたったの10秒で終了こちらの実験結果を見て欲しい。なんと、従来手法で数時間から数日かかっていたタスクがfastTextを使うとたったの10秒足らずで終わっている。精度も遜色ないレベルになっているのが分かる。開発者や研究者はより素早く実験することができ、新しい手法をたくさん試せるようになる。発表ページによると標準的なマルチコアCPUで10億語をたったの10分以内で学習する。50万もの文を30万カテゴリに分類するのに5分もかからない。