店舗情報これはCDやDVDの在庫を、店舗を指定して調べることができるスグレモノです。1つだけ欠点があります。このシステム、在庫がある店だけを絞り込むことができません。そのため、在庫がある店を探し出すには、全ての店のページを見る必要があります。5店舗ぐらい調べてみるものの、どこも取扱していないから「この商品はレンタル終わったんだ...」って諦めることが多々あります。いうわけで今回は、在庫がある店の情報のみを抽出し、csvにするプログラムを書いてみました。感想スクレイピングの前に使用するライブラリ必要なライブラリは以下の通りです。csv今回はスクレイピングしたいページが、JavaScriptでレンダリングされていたので、seleniumを利用します。ブラウザはPhantomJSを使用しました。PhantomJSは更新が終了してしまい、現在使用が推奨されていないので、他のヘッドレスブラウザを使用したほうが良いと思います。在庫の検索には、「商品ID」・「販売形式(レンタルCD、セルDVDなど)」・「都道府県ID」が必要になります。商品の概要ページから「商品ID」と「販売形式」が分かります。下図の赤枠で囲ったように、URLに含まれています。商品概要のページスクレイピングの対象ページ上図の青枠を押すと、「商品ID」と「販売形式」が反映された検索ページが表示されます。ここで都道府県を設定して「検索」を押すと、店舗一覧が出てきます。URLの末尾が「~&adr=○○(数字)」となっています。この数字が「都道府県ID」です。店舗一覧のページ2店舗URLを開いて、真ん中らへんの「お店の在庫情報」から店名と在庫情報を抽出3在庫情報が[○]か[×]だったらcsvに店名と在庫情報を書き込む4店舗一覧ページを次のページに遷移させる以上の1~4を繰り返します。今回は抽出する情報が少ないので、クローリングは行っていません。今回はflumpoolのEGGというアルバムをレンタルできる東京都内の店舗を探しました。「seleniumは難しい」というイメージがあったが、意外と簡単に扱うことができた。練習を積んでいきたい。個人的にはかなり便利なモノを作ったと思っているので、GUIアプリにしてみるなどして発展させていきたい。APIをPythonで利用してアルバム名を取得してみたアーティストの楽曲に関する統計情報が欲しいなと思い、Spotify...2019-01-20歌詞サイトのアクセス数からflumpoolの人気曲を調べてみた(スクレイピング編)スクレイピングの練習。今回は、flumpoolの人気曲を歌詞サイト...2019-01-14Pythonで簡単スクレイピング特に記事にする意味もないのですが、なんとなく書いてみます。»プロフィールid:hanatasdiaryプログラミング(C言語)の勉強をしています。(8)はてなブログをはじめよう!hanatasdiaryさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。