Seesaaブログから引っ越した。洗練されたものを目指します。HTML/Webスクレイピング・ライブラリ・レビューHTML/Webのスクレイピング処理の観点から、有名どころのRubyのライブラリについて、現状(2010年10月時点)を調査した。調査項目は凡例に示すとおりである。ライブラリの比較・選定に際して、判断のひとつの材料として資することを、期待している。なにかご意見がありましたら、お気軽にコメントをどうぞ。ライブラリの更新期間を記す。ライブラリのHPを記す。コーディングし直された。hpricotコメント多くの派生ライブラリを持つHTMLパーサー。webスクレイピングにも使うことができる。以前の公式サイト(http://code.whytheluckystiff.net/hpricot/)は、リンク切れである。(1.0.0)desc:Mechanizeライブラリは、webサイト間のやり取りを自動化するために使用される。Mechanizeは、自動でクッキーを格納して送信、リダイレクトをフォローし、リンクをたどったり、フォームをサブミットsubmitできる。フォーム・フィールドは増やしたり、サブミットできる。履歴となった訪れたサイトを調査する。webスクレイピングのためのライブラリである。インストール時に、エラーが発生するという報告がWeb上に散見される。この場合、gemとRailsの更新等が事前に必要とのこと。※追記2010/12/7:バージョン1.0.0では、Hpricotではなく、Nokogiriを使用するようになっているようだ。処理ルールを使ったスクレイパーを書くためのフレームワーク。Hpricot”http://blog.bigsmoke.us/2007/05/02/scrapi-wins-over-mechanize-and-hpricot-for-web-scraping-in-ruby開発は、止まっているようだ。Rubyで記述された、シンプルだがパワフルなwebスクレイピング・ツールキットである。目的は、webページ・クローリング、HTMLタグ・属性・XPath・フォーム名のルック・アップ処理の超めんどくささ、また、その他WebページまたはFirebugから直接コピペしたようなサンプルからこれらを理解するような、典型的な低レベルなwebスクレイピングから、あなたをフリーにすることである。(選択的に、AJAXのスクレイピングにFireWtir)に依存している。libxmlラッパーである。Hpricotの寄り道リプレイスメントでもある。nokogiriコメント:この中で、一番包括的な機能を持つパーサー。webスクレイピングにも使うことができる。現在は当該HPは復活しているようです。テキストで入力された日付を、日付値に変換する方法。