クローリング&スクレイピング最初に顧客マスタのデータに別の角度から考察を加えたいとき、外部から何かしらデータを持ってくる必要があります。一覧を取得する(python))APIが用意されいている場合(WikipediaやTwitter等)は素直にAPIを叩けばよいですが、必ずしもそのように二次利用が前提として作られているサイトばかりではないので、自分で必要な際にはスクレイピング(あるいはクローリングも)する必要があります。良い本であったので紹介させていただきます。継続したクローラーの運用ができるようになるまでの内容が詰まっています。そのため一つ一つの解説は多少分かりにくいところはあるかもしれませんが、必要な技術の見通しが非常に良いです。第0章:MacOSとLinux系の指定があるのでWindowsの方には仮想マシンをVirtualboxやVagrantで立ち上げるところから始まります。Linuxに不慣れな方にはコマンドの解説もあります。第1章:Wgetを用いてUnixコマンドだけでスクレイピングしています。この辺はパラ読みでしたが、格納したデータをきっちり扱おうとするとしっかり読んだほうが良いかもしれないです。第2章:pythonのインストール~標準ライブラリurllibを用いてのスクレイピングpython入門書ではないのでざっと要点をおさらいしたあと標準ライブラリを用いてスクレイピング体験しています。一度経験があればここは流し読みでよいかも?pythonをほとんどさわったことがなければ触るのもよいと思います。第3章:pipでrequestsをインストールしてスクレイピング・データの格納をしています。この辺からがかなり実践的になっている気がします。mysqlの入門にもなっているので3・4章を読めば一回きりのスクレイピングには対応できそうです。(XMLの勉強は自習で多少必要そうですが)第4章:retryとCacheを用いてクローラーを作っています。robots.txtの取り扱いも。第5章:pandas等を用いた実用法です。Agentをクローリングしてみた」なども参考に少しいじってみました。フレームワークそのものの勉強も大変ですが、複数のサイトからスクレイピングする予定がある場合、継続的な処理をする場合は学習コストに見合う価値があるようです。今回はある程度いじる程度にとどめておきました。ちなみに画像の収集に使われるFlickrを用いた画像活用法も載っています。第7章:継続的管理運用AWSやGCP状に仮想サーバーを立ててCronjobで実行させるまでです。まとめ上記の通り内容が通り一編詰まっていて非常に読みごたえがあります。pythonを初めてある程度たったけどこれで実際何ができるんだ?みたいな人は挑戦してみるとよいかもしれないです。純粋にクローレイング&スクレイピングの参考にするなら辞書代わりにしてもよいかもしれないです。サンプルのリンクはやや古いかもしれないですが(2018/12/13現在)こんなことしたいんだけどどうしたらよいのだろう、となったときに目を通すとヒントが見つかりそうです。)この記事へのコメントはありません。この記事へのトラックバックはありません。URL返信をキャンセルする。-URL上に表示された文字を入力してください。Practitionerが変わりました。