Weblogいつか使える、備忘録。備忘録2009-03-030cURL関数の説明をちょっと読んだら面白そうだったので、クローラーの取得部分を並列化してみました。これで、単線だったローカル線がいきなり、複々線化してさらに高架も建設したような感じに成長。気になる取得数は3000スレ/hourをもうすぐ超えるのではないかというほど。同時処理数をあんまり多くするとセッションがドンドン食われるので、その辺りは負荷と兼ね合うようHTTPの標準的な数値に調整。これでクローラーのメジャーバージョンはv6になった。マイスター認定証が貰えるらしい。スペックを楽しむ方法を考えよう。