僕はsetuptoolsしか使った事ないですけども。listにに登録されている約9400個のモジュールの各ページを1日1回のペースでクローリングさせています。Timeで無料分の14%を消費しています。Bandwidthも13%を消費していて、単純計算だと1日あたり7万リクエストで無料分のリソースは使い切ってしまいます。スクレイパー部分のコードは以下です。複雑な処理はしていません。あ、でも正規表現処理にコンパイル済みオブジェクトを使ったらもう少し効率良いかもしれないですけども。以下省略というわけで更新頻度にも寄りますが、無料分だとせいぜい数万件程度の小規模なデータしかクロールできませんね。taskqueueを並列化すると、数十件/sec程度のスループットが出るので、有料リソースを使えば結構実用的なのかもしれませんが、それだったら自前でサーバ準備する方がコストパフォーマンスが良い気もしますね。継続して実験したいと思います。