質問するか検索してください。アーカイブで質問を検索します。Scrapyのバグを報告してください。入門¶Scrapyを3行で説明シルScrapyとは何か、それがどのようにあなたに役立つかの理解。ガイドScrapyをあなたのコンピュータにインストール。Scrapyチュートリアルあなたは最初のScrapyプロジェクトを書きます。作成済みのScrapyプロジェクトを題材に、もっともっと学びます。基本の概念¶コマンドラインツールScrapyプロジェクトの管理に使用するコマンドライン・ツールについて学習します。スパイダーWebサイトをクロールするルールを作成します。セレクターXPathを使用してWebページからデータを抽出します。Scrapyシェル対話環境で抽出コードをテストします。アイテムあなたがスクレイピングしたいと欲するデータを定義します。抽出したデータをあなたのアイテムに入れます。アイテム・パイプラインスクレイピングしたデータを後処理して保存します。フィード・エクスポートさまざまな形式を使用して、さまざまストレージに、スクレイピングされたデータを出力します。リクエストとレスポンスHTTPリクエストとレスポンスを表すために使用されるクラスを理解します。リンク抽出器(extractor)ページからたどるリンクを抽出する便利なクラス。設定Scrapyをどのように設定するか学びます。組み込み済サービス群¶ロギング(logging)ScrapyでPython組み込みのログ機能を使う方法を習います。統計をとるあなたのスクレイピング・クローラーの統計を収集します。特定のイベントが発生したときに電子メールを送信します。Telnetコンソール組み込みのPythonコンソールを使って、実行している最中のクローラーを詳しく調べます。WebサービスWebサービスを使用してクローラーを監視および制御します。特定の問題の解決¶F.A.Q.(よくある質問と回答)よくある質問とその回答。スパイダーのデバッグscrapyスパイダーの一般的な問題をデバッグする方法を学びます。始まる、テスト用に用意された属性指定子)を使用する方法を学びます。ある例Scrapyのいくつかの一般的な慣例に親しみます。広範なクロール多数のドメインを並行してクロールするためのScrapyのチューニング。Webブラウザの開発ツールを使ってスクレイピングするWebブラウザ付属の開発ツールを使用してスクレイプする方法を学びます。動的にロードされるWebページ・データを読み取ります。メモリ・リークのデバッグクローラーで、どのようにメモリ・リークを探して、そしてどのように取り除くかを学びます。ファイルと画像のダウンロードおよび処理あなたがスクレイプしたアイテムに関連するファイルや画像をダウンロードします。スパイダーのデプロイリモート・サーバに、あなたのScrapyスパイダーを配置し実行します。負荷に応じてクロール速度を動的に調整します。ベンチマーキングScrapyがあなたのハードウェアでどのように機能するかをチェックします。大きなスパイダーのクロールを一時停止および再開する方法を学習します。Scrapyの拡張¶アーキテクチャ概観Scrapyアーキテクチャを理解する。ダウンローダー・ミドルウェアページのリクエストとダウンロードの方法をカスタマイズします。スパイダー・ミドルウェアあなたのスパイダーの入力と出力をカスタマイズします。拡張機能あなたのカスタム機能でScrapyを拡張する。コアAPIScrapy機能を拡張するために拡張機能やミドルウェアを使用します。シグナル利用可能なすべてのシグナルとそれらがどのように動くかをご覧下さい。アイテム・エクスポータースクレイプしたアイテムをファイル(XML、CSVなど)にすばやくエクスポートします。その他すべて¶リリース・ノート直近のScrapyバージョンの変更点をご覧ください。Scrapyへの貢献Scrapyプロジェクトに貢献する方法を学びます。バージョン管理とAPIの安定性Scrapyのバージョン管理とAPIの安定性を理解します。