cURLを利用したスパイダーツールを作ってみよう。新しいブログに移動しました。「9ensanのLifeHack」こちらの記事も必要に応じて新しいブログに移動させる予定です。今後ともよろしくお願い致します。cURLを利用したスパイダーツールを作ってみよう。cURLを利用したスパイダーツールを作ってみよう。20:11PHPPHPのcURLを利用したスパイダーツールを作ってみようと思いますここで紹介するプログラムは、色々な文献を参考に作っていますが、相手のサイトへかかる負荷を考えたプログラムになっていないものもたくさんあります。データをクロールする相手サイトのことも考えて利用するようにしてください。簡単にデータを取得するプログラムを作りたいと思います。データを取得することができないと何も始まらないからです。この有名サイトからロゴマークを取得するプログラムを作ってみます。cURLを使用するためにパッケージが足りないので追加します。php5-curlこれでcURL関数が使えるようになります。コマンドラインPHPを実行するフレームワークもどきをつくりました。フォルダ構成はこんな感じです。重要な、「httpget.php」と「curl.php」を説明します。http://k.yimg.jp/images/top/sp/logo.gif「logo.gif」が作成されます。これがダウンロードされたロゴです。»コメント:0件コメント投稿フォームコメントを入力して下さい。返信をキャンセルする。URLの存在チェックを行うプログラムを作る。関数file_exestsと異なり、HTTPステータスを取得することができる。2011/05/06読書用に花粉症対策CodeIgniterでのCLIPHPでの正規表現のチェックが出来るサイトiPhoneシミュレータのアプリの保存先httpd.confのOptionsの備忘録zencodingって便利だ!wp-super-cacheが悪さしていた・・・。cURLを利用したスパイダーツールを作ってみよう。