スクレイピングフレームワークPerl最近、スクレイピングすることが多かったので、面倒くさくなって作りました。初Mouse、初git、初githubなんで、なんか変なことしてたらすみません。http://github.com/ktat/LinkSeeker/スクレイピングするときは、以前書いてますが、下記のような処理をしています。URLのページを取得する(URLのページを保存)スクレイピングする(スクレイピングしたデータを保存)データをDBに入れたりするこれを、各クラスにばらけさせました。実装は継承したsubclassで上記クラスは何もしておらず、そのサブクラスで実際の処理を実装し、configにて、何を使うか指定します。取得するサイトを表現するのは下記のクラス(Siteじゃなくて、Pageのがいい気が...)。サイト内のURL(とリクエストの組み合わせ)テスト代わりにとりあえず動かせるサンプルを置いてます。ディレクトリを作った後、下記を実行してください。以下に、scrapeしたデータが入ります。この例では、日経新聞のサイトからデータ取ってくるのですが、カテゴリのページを取得してスクレイピングして、その中にある個別のニュース記事を取得してスクレイピングしています。いったネストした処理も楽にできるようにしています。ユーザーは設定ファイルと、スクレイピング処理だけ書けばいいって感じです。保存されているものがあればそれを優先する設定。下のようにも設定できる。