2016/11/27スクレイピングをする必要があり色々と試したので軽くメモを残す。以前、試した事があるのでそれをベースに実行をした。Parserを使っている。対象のページは上場企業の情報が掲載されているUllet(ユーレット)でここから上場企業リストと従業員数等の情報を取り出したい。1ページあたり20社ずつ企業一覧になっており193ページあるようで、下記のURLが1ページ目になる。http://www.ullet.com/searchd/page/1.htmlそこから2.html,3.htmlと続き193.htmlまでと連番になっている。それぞれの企業のリンクをたどり詳細ページに進むと従業員数の記載があるのだが、まずはその詳細ページのURLを全件取得したい。詳細ページURLのリンクの取得から。HTMLを確認すると、一番目の「トヨタ自動車」はaタグにcompany_name0のidがついている事が確認できた。そこを取り出してみる。続いて、2番目の「本田技研工業」を取得するには単純にa[id=company_name0]をa[id=company_name1]にすれば良いのであるが、複数取得したい場合はカンマ区切りにする。a[id=company_name0],a[id=company_name1]みたいな感じで。PHP_EOL;}改行をしたいのでPHP_EOLを入れた。上記のコードを実行すると下記の結果が取得できる。20件の企業が一覧表示されているのでa[id=company_name0]からa[id=company_name19]の20件である。a[id=company_name0],a[id=company_name1],....,a[id=company_name19]の文字列をつくりたいのでfor文で作成して組み合わせる。PHP_EOL;}実行すると下記20件のURLが取得できる。http://www.ullet.com/6502.html1234567891011121314151617181920http://www.ullet.com/7203.htmlhttp://www.ullet.com/7267.htmlhttp://www.ullet.com/6178.htmlhttp://www.ullet.com/7201.htmlhttp://www.ullet.com/9432.htmlhttp://www.ullet.com/6501.htmlhttp://www.ullet.com/7181.htmlhttp://www.ullet.com/9984.htmlhttp://www.ullet.com/5020.htmlhttp://www.ullet.com/8267.htmlhttp://www.ullet.com/8015.htmlhttp://www.ullet.com/6758.htmlhttp://www.ullet.com/6752.htmlhttp://www.ullet.com/8750.htmlhttp://www.ullet.com/8002.htmlhttp://www.ullet.com/8058.htmlhttp://www.ullet.com/9501.htmlhttp://www.ullet.com/3382.htmlhttp://www.ullet.com/8306.htmlhttp://www.ullet.com/6502.htmlこれを193ページ分、取得する。前回同様に上記のコードを関数にまとめて引数でURLを193回渡して実行する。"http://www.ullet.com/searchd/page/{$i}.html";getdata($url);}少し時間がかかるが、3842件のURLが取得できた。この3842件をコピーしてtxtファイルに保存をしておく。このURLひとつに対して従業員数などを取得するコードを作成して、同じく3842回実行(上記txtファイルからURLを読み込んでループ)する訳であるが、基本的には同じ事なので内容は割愛をする。途中でエラーが出た項目があったのでその点だけメモを残しておく。実行をしていく中で詳細ページのURLによってはうまくいく場合もあれば、うまくいかない場合もあった。うまくいかない場合には下記のエラーが表示される。Parserの問題であった。解析対象のサイズが大きすぎるとエラーが出てしまうようである。URLごとに多少ファイルサイズが違うようで、エラーが出たり出なかったりした。65行目にMAX_FILE_SIZEが600KBと定義されている。600000);これを600000より大きい値に変更すれば解決した。簡単ではあるがここまでメモしておく。