Pythonこんばんは。今回はプログラミング言語の一つであるPythonを使ってウェブスクレイピングをしたいと思い、試行錯誤した内容をメモ形式で残しました。※ちなみに基本的な文法は分かりますが、それでも初心者に毛が生えた程度の理解度ですWebスクレイピングとは、WebサイトからWebページのHTMLデータを収集して、特定のデータを抽出、整形し直すことである。APIを利用しているかのようにデータを効率的に取得・収集することが可能になる。用途の例としては、部分的にコンテンツを取り出して携帯電話向けのコンテンツを生成したり、小見出しの一覧を生成したり、といった使い方あある。Webスクレイピングは様々な手段で実現可能であるが、PHPやPerlといったスクリプト言語を使用して行われることが多い。「スクレイピング」(scraping)とは元々「削る」や「こすり落とす」といった意味の英語である。「そういえばPythonでサイト内の特定の情報を抽出することが出来たはず・・・」と思ったところからです。結局は同シリーズ第2話でその必要も無くなったことが判明したわけですが。それでも別件で必要になったのでやってみることに。ファーストブック」(142ページ以降中心)以下試行錯誤メモ。コマンド実行は「ターミナル」、.py編集は「Xcode」を使用。PythonでスクレイピングするにはScrapyというフレームワークが良いらしい。scrapyインストールしてバージョンを確認すると、以下の警告が出る。rejected.恐らくservice_identityをインストールせよという話。service_identityだがしかし、インストールしても警告が出る。‘opentype’が大事っぽい。グーグルで検索しても英語のページばかりなので、一旦無視します笑さて、scrapyをインストールしたところで、次はプロジェクトの作成(作業用のディレクトリや雛形などの作成)。参考文献に沿って進める。<プロジェクト名>はい、そして次。<プロジェクト名>とここで参考文献注。「treeコマンドはmacOSに実装されていない」はい、インストールします。何も考えず、とりあえず。tree駄目だったのでグーグル検索。https://qiita.com/aryoa/items/9b3befa797147528aaafを参考にtreeコマンドをインストール。<プロジェクト名>を実行して成功。すると4つのディレクトリと7つのファイルが出来上がる。分からないが、とりあえずsettings.pyをイジる必要があるらしい。このsettings.pyはスクレイピングの設定を決めるファイルのようだ。あまりに高頻度にウェブサイトをスクレイピング・クローリングすると、そのサイトに負荷がかかり、場合によってはそのサイトを攻撃しているとみなされる場合があるらしい。そのような事態を避ける為にも、正しく設定してスクレイピング等を実行する必要がある、ということだ。一通り環境構築は出来たのでここまで。次回は実際にスクレイピングするためにプログラムを書いていく。