2015/09/13PHPでスクレイピングにトライしてみたので備忘録も兼ねてメモを残す。エリアや期間、その他絞り込みオプションを指定してから検索をするとそのエリアの地価の詳細情報が画面に表示されるというものである。品川区の昭和45年から平成27年の住宅地の情報で絞り込むと979件。1ページに20件表示で49ページに分割されて表示される。この情報をスクレイピングしたい。Parserというライブラリを利用していきたいと思う。Parserの詳しい使い方については解説をしないので詳細については下記ページからご覧いただきたい。http://simplehtmldom.sourceforge.net/まずはこのページからsimplehtmldom_1_5.zipをダウンロードする。simplehtmldom_1_5.zipを解凍して、simple_html_dom.phpをinclude_onceで読み込んで使う。?>123<?phpinclude_once('simplehtmldom_1_5/simple_html_dom.php');?>まずは先程のURLを読み込んでみる。classで「datavalue」というのと「datavalue2」というふたつがあてられている事が分かったのでfindの中身をカンマ区切りで複数指定する。$element->plaintext;}?>すると見事に文字化けをした。頭に下記2行を追加したら文字化けは直って無事に情報は取得できた。charset=UTF-8");mb_language("Japanese");続いて、情報は一旦csvファイルにしたいと思うのでカンマを入れていく。何行目で次の行に折り返すかを確認してみると内容(番号とか価格とか日付とか)が19件で次の情報に行く事が分かった。順番に吐き出されていくので$result[18]から19ずつで[18]、[37]、[56]と折り返したいところだけはカンマではなく改行を入れたい。下のようなかたちで分岐をさせた。回数をカウントして、回数を19で割った数字の余りが1になるときにだけカンマではなく改行をつける事にした。',';}$i++;}?>問題なさそうなのでcsvに出力するコードを追加する。test.csvというファイルに上書きをする設定にした。',';}$i++;}?>実行後に生成されたcsvファイルを開く。ちなみにエクセルでこのcsvファイルを開く際には文字コードをUTF-8からShift-JISに変換してからでないと文字化けをしてしまう。文字コードを変換してエクセルで中身を確認するとどうも順番がばらついていておかしい。良く見てみると価格の部分が「1,010,000」とカンマが含まれている事に気が付いた。仕方がないのでそれぞれの前後をダブルクォーテーションで囲むことにした。ついでに画面表示のechoは一旦必要ないので外した。'",');fclose($fp);}$i++;}?>無事に20件分の情報がきれいにとれた。続いて、複数のページをまとめてとってくる処理へ進めていきたい。対象のページはURLのパラメーター部分のPG=がページ数だという事は確認できた。■1ページ目http://www.land.mlit.go.jp/landPrice/SearchServlet?MOD=2&TDK=&SKC=13109&CHI=&YFR=1970&YTO=2015&YOU=0&PFR=&PTO=&PG=1&LATEST_YEAR=■2ページ目http://www.land.mlit.go.jp/landPrice/SearchServlet?MOD=2&TDK=&SKC=13109&CHI=&YFR=1970&YTO=2015&YOU=0&PFR=&PTO=&PG=2&LATEST_YEAR=まず、いま書いてきたコードは関数にしたいのでfunctionで括る。その上で引数を使ってURLを渡すように変更する。'http://www.land.mlit.go.jp/landPrice/SearchServlet?MOD=2&TDK=&SKC=13109&CHI=&YFR=1970&YTO=2015&YOU=0&PFR=&PTO=&PG=1&LATEST_YEAR=';getdata($url);?>これで動作確認がOKだったので、URLのPG=の値をfor文で加算しながら繰り返し実行させる。10ページ分200件をとれるか動かしてみる。'&LATEST_YEAR=';getdata($url);}?>無事に動いたのだが、なんと条件によっては19行で折り返しではなく18行で折り返しの事もあり順番が崩れてしまった。内容を見てみると「詳細表示」という項目がない事もあるようで、ない場合は18行で折り返しになってしまう事が分かった。配列から削除してすべてを18行目折り返しにする事にした。array_searchで”詳細表示”を探して、もし存在すればunsetで削除、削除した後に配列の番号が歯抜けになってしまうのでarray_valuesで詰めるようにトライした。試してみると、$element->plaintextに対してarray_searchで”詳細表示”を探してみてもなぜか見つからない。仕方がないので新しい配列を作成して、その中にarray_pushで$element->plaintextの中身を入れ直して、その後にarray_searchで”詳細表示”を探してみると見つかった。false){unset($newArray[$key]);}詳細表示を探して削除する回数については1ページ最大20件なのでfor文で20回まわす事にした。この処理のために妙なコードになってしまったのだが、下記のような感じ。'&LATEST_YEAR=';getdata($url);}?>これで無事に動いて979件取得できた。このコードにより生成されたcsvファイルをサンプルとして下にリンクを置いておく。test.csvなお、取得する件数が多いとタイムアウトすると思うのでその場合は下記のコードを加えれば大丈夫だと思う。値は秒数で指定をする。set_time_limit(600);当初の目的だった地価の分析を行いたかったのだが、かなり長くなってしまったのでまた次回改めて投稿をしたいと思う。