Chromeプラグイン以外のものを見たい場合は、バックグラウンドでQt-Webkitを使用し、ajaxリクエストを含むブラウザーのように動作するphantomjsを見てください。出力を画面に表示せず、他の作業をしている間はバックグラウンドでかなり動作するため、ヘッドレスブラウザーと呼ぶことができます。必要に応じて、フェッチしたページから画像、pdfをエクスポートできます。ブラウザにあるのと同じように、ページをロードしたり、ボタンをクリックしたりするためのJSインターフェイスを提供します。スクレイピングする任意のページにjQueryなどのカスタムJSを挿入し、それを使用してDOMにアクセスし、必要なデータをエクスポートすることもできます。Chromeとまったく同じです。Jaxerを使用することであり、それ自体が非常に優れたコンセプトです。単純なスクレイピングツールとしても使用できます。3この質問が行われてから、多くのツールがリリースされています。artoo.jsはその1つです。これはJavaScriptコードの一部であり、ブラウザのコンソールで実行して、スクレイピングユーティリティを提供します。Chrome拡張機能として使用することもできます。4Webスクレイピングは、Chrome拡張機能に複雑に組み込まれています。いくつかのポイント:DOMにアクセスするためのコンテンツスクリプトを実行します。バックグラウンドページ(ブラウザごとに1つ)は、コンテンツスクリプトとメッセージを送受信できます。RPCエンドポイントを設定し、バックグラウンドページのコンテキストで指定されたコールバックを応答として起動するコンテンツスクリプトを実行できます。Webページのすべてのフレームでコンテンツスクリプトを実行し、ドキュメントツリー(ページに含まれる1..Nフレームで構成される)をつなぎ合わせることができます。してバックグラウンドページは、データをXMLHttpRequestとしてローカルでリッスンする何らかの種類の軽量HTTPサーバーに送信できます。5JavaScriptだけでは完全に可能かどうかはわかりませんが、cURLを使用してページのHTMLを取得する拡張機能専用のPHPスクリプトを設定できる場合、PHPスクリプトはあなたとあなたの拡張機能のページは、AJAXリクエストを介して読み込むことができます。スクレイピングされている実際のページは、cURLを介してアクセスされているため、AJAXリクエストであることを認識しません。