小さなエンドウ豆スマートフォン用の表示で見る小さなエンドウ豆まだまだいろいろ勉強中2016-02-11ScrapyことはじめPythonこんばんは本日2つ目のブログでございます。この記事では技術系のことについて私が忘れないように最近使ってるScrapyについて使い方を記録しておきたい。ScrapyScrapyとはWebページをダウンロードしてきてパースを行ういわゆるスクレイピングを行うフレームワークである。試しにPython2系であるページの情報を取得することにしてみた。testspider.pyc次にitems.pyを編集する。ここは自分なりにページから取得してくる情報をオブジェクトにして定義するものと理解している。ROBOTSTXT_OBEY=Trueを追加する。次にtestscrapy/testscrapy/spidersにtestspider.pyを作る。[domain]上記のコマンドでtestspider.pyの雛形を作成することができる。passstart_urlsに設定したURLのページをスクレイピングすることとなる。次のコマンドでクロールを行う。testspider次回のブログあたりで実例を書いていこうと思う。接続するまで月別アーカイブはてなブログをはじめよう!h-piiice16さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。