検索:投稿記事Javaクローラー開発、まとめリンククローラー開発クローラーの開発が必要なので覚書をかねて、オープンソースのクローラーとクローラーフレームワークのリンクを集めました。Java,Perl,Ruby,Python,PHPの利用できそうなリソースです。私は十分なリソースがあることと、言語習得の側面からJavaで開発する方針です。覚書:1.簡易的なものではなく、将来的に活用可能に。2.既存のコードを使い、できるだけ効率的に。←データ解析に力を注ぐために、いくつか設計したが実装は断念すべき。4.クローラーは、URLの収集と保守ができればいい。5.データ抽出・解析作業に、既存のパース・スクレイピングライブラリがどこまで活用できるか。Nutchほどのクローラーは作れないし必要もない。クローリングアルゴリズムは自分にとって最適ではない。オープンソースでプラグインによる拡張性も高い。解説も豊富で、出力データも希望通り。その他のApacheのプロジェクトと連携していて魅力的。Nutchを勉強することにしました。Java-Source.netJavaのオープンソースなクローラーのリンク集。2013年12月18日Perlでのクローラーの書き方、CPANモジュール。クローラーの守るべき一般的な規則が解説されています。