WEBページをスクレイピングしたい。PUPPETEERで。Blog西麻布のクリエイティブラボ「Makery」でテクノロジーとアイデアをこねています。WEBページをスクレイピングしたい。PUPPETEERで。2018-09-20WEBページをスクレイピングしたい。PUPPETEERで。Aeroが気になっている花井です。theblog.adobe.comすみません。冒頭と関係なく、今回はPuppeteerを触ってみたのでその記事です。スクレイピングとは取得したHTMLから任意の情報を抽出する技術・行為のことです。今回紹介するPuppeteerはスクレイピングを行うnodeライブラリです。Chrome)をNode.jsで操作しやすくしたライブラリです。Google公式のため開発・サポート終了などのリスクは少ないです。JavaScriptエンジンを搭載したフルブラウザとしてのChrome(正確にはChromium)を内部的に呼び出してWebページをレンダリングしています。Applicationのような、JSによって動的にHTMLが生成される場合でも問題なくレンダリングされ、画面キャプチャの作成やスクレイピング、その後のページに対してフィールドの選択や入力、結果の取得などを行うことができます。こんな感じで書いてみました。電話のエラーはわざとです。BBテスト太郎君の謎の問い合わせは自重しています。実用的な使い方として、対象ページのリンク全てにおいて情報抽出&キャプチャ作成でしょうか。CMSで作った膨大なページ数があるサイトでも自動でチェックできます。これをつかえば社内インフラ良くなるでしょうか?うまく活用できればと考えています。今日のところは以上です。13:07WEBページをスクレイピングしたい。PUPPETEERで。はてなブログPro自主制作やハッカソン、ワークショップなど、ビービーメディアのラボ「Makery」の活動をアップします。体験できます!VRきもだめし2018世界VR産業大会(中国南昌)出展WEBページをスクレイピングしたい。PUPPETEERで。関連リンクスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。