技術メモネットを見てると、面白いサービスが出ていました。ヤフー株式会社は12日、ソーシャルメディア上の投稿を検索できるYahoo!検索の「リアルタイム検索」において、「つぶやき感情分析」の正式版を公開した。プログラムRubyでキーワード抽出およびTF-IDFでキーワードの重要度の重み付けが出来んかなと思ってGemを漁ってみました。残念ながら、日本語データに関しては、それらしいのは見つかりませんでした。ブログの本文抽出をしたいと思ってちょっと調べてみました。rubyベースの実装のExtractContent.rbが良さげと思い色々試してみました。迫られて、ブログの本文抽出をしたいと思います。2年前くらいにも少し試みたことがあるのですが、ソース消失。アプローチとして、2つの方法があると思います。簡潔に集合知プログラミングの魅力を伝えている素晴らしいエントリーです。魅力1〜3で優れている点、その上でまとめ。大量データの処理の実際の話。気になるのが、ドキュメントのベクトル化。はてなさんの場合2008-11-04これはセンスが良い。情報検索の分野でよく使われるアルゴリズムで「TF/IDF」というものがあります。ドキュメントの中から「特徴語」を抽出する、といったような用途でよく使われています。TF/IDFアルゴリズムのくわしい解説はこことかここを見...これはセンスが良い。プログラム時間が空いたので、Lingua::JA::Summarizeも試してみました。0.07をCPAN経由でインストールしようとすると、途中でエラーが出ました。Class::Accessor::FastとClass::ErrorHandlerに依存するようなので、予めインストールしておきましょう。0.60が開発中のようです。今は、pre2まで出ています。変更点は、以下の通りのようです。何が嬉しいかというと、UTF8に対応しているところ。内部的には、ほぼフルスクラッチで書き直しの力作のようです。chasenのサポー...cabochaでUTF82008-08-08工藤拓さんが語るMecabの仕組み自然言語処理2006年の資料ですが、工藤拓さんご自身でMecabの内部構造等を説明している資料があります。専門的な内容ですが、解りやすいです。TRIEが肝なんですね。本ようやく集合知プログラミングが届きました。30分くらいざっと目を通しただけですが、これだけは言えます。自然言語処理をテーマとして扱う書籍の中で、実用度No.1です。文句なしにお勧めです。これで3,400円は安すぎます。倍の値段であっても買います。して圧倒的な性能を誇るMeCabですが、出来る事は形態素解析にとどまりません。公式ページにも載っているように、辞書さえカスタマイズすればひらがな⇔カタカナ変換やAutoLinkの作成といったことまで出来ます。プログラム今まで何本か日本語処理のエントリーを書いてきました。後で振り返り易いように、ここらで一覧にまとめておきます。コーパスとして、wikipediaの存在はありがたいです。最近の特徴語抽出の手法ってどんなんかなと思って、はてなの注目のエントリーを見てみました。面白いものが目白押しです。Gigazinizeというのは、秀逸です。EC2の使い方をようやく覚えてきたので、アプリのインストールをする事にしてみました。Coreだったらyumでしょうということで、下記のコマンドを試してみました。wikipediaのコンテンツは、600MB以上ある。自然言語処理Gentooにcabochaをインストール。形態素解析器は、Mecabにしようかと思ったのですが、故あってChasenを選択。Casenに必要です。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。