刺身の上にたんぽぽ乗せる日記スマートフォン用の表示で見る刺身の上にたんぽぽ乗せる日記プログラミングしたり、自販機の下に落ちてる小銭を集めたりしてますこの広告は、90日以上更新していないブログに表示しています。2011-05-21scrapyprogrammingPython用のスクレイパーライブラリ。http://scrapy.org/何がいいかというと、IO処理の効率が大変高いので、多重ダウンロードなどが効率的リクエスト投げて、結果をとってくるところはある程度勝手にやってくれるスクレイピング自体がxpathが使えるのでめちゃくちゃ楽チンはまったのは2つあって、まず再帰的にクロールする方法がわからなかったけど、これは単純にRequestのオブジェクトをYieldすればいいだけだった。HtmlXPathSelector(response)こんな感じでちょっと今後壊れそうな感じでやる方法しか見つからなかった。正しい方法ってのは、Responseを生成するところで、TextResponseに渡すencodingを正しく指定することなんだと思うけど、Responseをどこで生成しているのかが見つからなかったので、今後壊れそうな気がして怖い。virtualenv設定メモサーバがまた起動しなくなってた月別アーカイブはてなブログをはじめよう!kudzuさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。