技術的な話題この記事は公開されてから1年以上経過しており、情報が古い可能性があります。お仕事都合による発生するスクレイピングについてと、それつらたん~~~なことになってきたので解消するようにブチアゲした話を書きます。お仕事都合による発生するスクレイピングお仕事都合、例えば営業や企画といった人達から「こういうこと出来ないかなあ...?」とかって話が来るとおよそ7,8割の確立でスクレイピングできないっすかというお願いです。回だけならいいんですが、異なる人から、異なることを、ちょこちょことお願いが来たりします。さんに先月お願いしたやつ、今月もよろしく」みたいなやつ。中身としては、例えばこういう感じ。情報を集めたいIRまとめ系サイトから業種や会社名、連絡先を集めたい特定のメディアサイトに入っている画像を集めたい〇〇のメーカーの商品、型番の一覧を集めたいムフフなコンテンツ集めたいetc...そしてこういったお願いはかなりの速度感を求められることがあります。いえ、どばーーーーってスクレイピングしたら、対象のサイトに対して、迷惑を掛けることにつながりますし、訴訟リスクも存在します。確認しつつ、良心的な範囲でやらなければいけないので、その点については説明し納得をしてもらっています。コードを書いて、ぐるぐるしたりしてやっているのですが、いやいやちょっとそろそろ面倒になってきましたよ、ということでもうちょっとやることにしました。スタートはかなり面倒です。ボイラープレートというか、フレームワークというか、何かそういう「コレ使えばおおよそいいよ」セットを作ります。このセットがあることによって、コードがざっくりと統一されるので、引き継ぎだったり、並行開発だったり(するか?)、そのあたりの勝手が良くなります(なりました)。使えばいいじゃん、とかそういう話でもあるんですが、スクレイピングしたときってデータの入出力はもちろん、スクレイピングのやり方によってはキューイングしたり、一時データをもったりするじゃないですか。いうところ全部扱いたいんですよ。個読めばいいじゃん、という環境にしたいのです。他の言語でもいいのですが、周りの人の取り回しを考えるとこれがベストマッチです。お願いを解決するにあたって速度感よくやるために「コレ使えばおおよそいいよ」セットは、何も考えずにとにかくサクッと使えることが必要です。みたいに使えると最高です。駅名を集める」ものを書くとこんな用になります。時間かかってコードを書いていたのがサクッと終わるようになりました。情報を取得するといった複数のステップがあるようなスクレイピングもわりかし簡単にできるようになりました。情報を集めたい」です。セレクタ)さえあれば、あとはよろしく処理するような仕組みがあれば十分なはずです。月くらいに作って様子を見ようと思っていたのですが、特に何かあったわけでもないんですが、急にお願いが減っちゃって作らなくていいかなあと思ってきました。いえ怠けているとあとが大変になりそうな予感がするので、近いうちにやりたい気持ち。おわりに「コレ使えばおおよそいいよ」を作ってお仕事都合のスクレイピングを簡単にしたり、別の開発者が入るときも問題の起きにくい状況になりました。この件についてコードを書くことをなるべくやめたいので、そういう「スクレイピングいい感じにできるツール」みたいなのあったら教えてください。さんで「何か書きたい」です。data-src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script>。