Chromeを使う時に、アクセス解析に影響を与えないようにスクレイピングするにはどうしたら良いかを調べました。Analyticsとかを始めとするアクセス解析に思いっきり影響が出てしまったので急遽対処する事に。Proxyを使えばアクセス解析を回避出来るとわかったのですが、導入までの情報が少なかったのでメモする事にしました。(Headless)」で試しています。Chromeでアクセス解析を除外する方法スクレイピング時にアクセス解析を除外する方法はいくつかあります。Analytics側の設定でクローラーのIPを除外するChrome側でJavaScriptの実行を無効にするGoogle謹製のオプトアウトプラグインをChromeにインストールするプロキシを使いそこでアクセス解析のタグを除外する1についてはこちらでコントロール出来る話じゃないので無理。2もJavaScriptを使わないのだったらSeleniumを使わなくても良くなるので除外。Analyticsを使ったアクセス解析を想定した場合だと3が簡単確実なのですが、残念な事にヘッドレスブラウザはエクステンションが使えないのでこれも今回は無理。いう事で4のプロキシを使う方法を採用する事にしました。次で各種セットアップと実装コードを解説します。ProxyはJava製のプロキシですが、Pythonからも使う事が出来ます。Proxyのインストールを行います。JavaのインストールJavaの実行環境はyumでサクッとインストールしちゃいます。Proxyは公式サイトからzipを落としきて適当なディレクトリに解凍し、実行権限を与えます。ProxyをPythonから使う為に必要なモジュールをインストールします。psutil準備はこれで完了です。Proxyを使うコードを書いていきます。server)このスクリプトでアクセスするとこのようにアクセス解析タグを読み込めなかったというエラーがブラウザに出力されます。1551945496909}]アクセス解析はproxy.blacklistの部分で該当するURLを除外。Analyticsの解析タグはちょいちょい変わりますが、この2つを指定しておけばとりあえずは大丈夫だと思います。ProxyはSeleniumでHTTPステータスコード等を取得したい場合に使うケースが多いようですので、その場合はproxy.new_harのメソッドで各種情報を取得できます。Javaのゾンビプロセスが残るのでそれをkillする処理です。こちらはLinuxとWindows兼用です。APIも用意されています。起動する時はこんな感じに。blacklistに登録してみます。Proxyは立ち上げっぱなしの方が効率良いかもしれません。以上、Seleniumでアクセス解析を回避するメモでした。