04:43更新フォローするユーザーエージェント(UA)とはスクレイピングでは、ユーザーエージェント(以下はUA)を単純に「デバイス+ブラウザ」と考えることができます。ブラウザやデバイスによってUA値は異なり、ブラウザ、バージョン、使用言語、現在のデバイスなどが含まれます。UA値は、ページが要求されたときに、ターゲットウェブサイトのサーバーに一緒に送信されます。サーバーは適切なUAを判断し、情報を返します。お客様が携帯電話のブラウザで訪問された場合、サーバーはUA値のデバイス情報に基づいて、携帯電話に適したウェブページのレイアウトを返します。コンピュータのブラウザで閲覧した場合、サーバーはコンピュータのレイアウトに適したウェブページを返します。応用場面1.モバイルレイアウトでWebサイト情報をクロールする必要がある2.サイトには厳しいクロール対策が施されています。特定のブラウザのみアクセス可能(通常は旧バージョンのブラウザ)変更方法1.プリセットされたUAを使用するOctoparseはあらかじめ主流のUA値を設定していますので、特別なニーズがない場合、それを選ぶだけでよいでしょう。Linuxの使用を推奨します。タスクを開き、実行設定に入ります。Octoparseは各プラットフォームのモバイルブラウザに対応したUAを用意しています。切り替え後、保存を押して編集画面に戻ると、新しいUA値が対象サイトのサーバーに送信され、ページも自動的に更新されます。UAを取得する方法1Chrome(Google)ブラウザを例にとって説明します。アドレスバーに「chrome://version/」と入力すると、以下の情報が表示されます。黄色い枠の[User-Agent]以降の情報をコピーして、オクトパースに貼り付けることができます。Firefox(ファイヤーフォックス)やEdge(エッジ)ブラウザなど、「chrome://version/」方式に対応していないブラウザがあります。その場合は、以下の2番目の方法を使用することができ、2番目の方法はChromeブラウザにも適用されます。方法2ウェブサイトを開き、ウェブページを右クリックして「検証」を選択してコンソールにアクセスすることもできます。ウェブページをリロードするネットワークオプションをクリックすると、以下のインターフェイスが表示されます。「ネットワーク]タブには、ブラウザから送信されたさまざまな要求が表示されます。リクエストの一つをクリックし、右の部分をスクロールして、ヘッダーの中のUser-Agentを探します。ヘッダーとは、メッセージのヘッダーを意味します。この部分にUser-Agentの情報が記載されています。メッセージヘッダの中にUAが含まれていないものがあれば、リクエストを変更して検索を続けます。UAをタスクに適用するタスクを開き、設定ボタンをクリックして設定ページに入る「実行設定]、「カスタマUser-Agentを追加する」をクリックします。User-Agentに好きな名前を付けるUser-Agent値にUAを貼り付け、「追加」をクリックして保存します。内蔵ブラウザボックスから、追加したUAを選択します。「保存」をクリックします。FacebookTwitterLinkedInこの記事は役に立ちましたか?0人中0人がこの記事が役に立ったと言っています他にご質問がございましたら、リクエストを送信してくださいページの先頭へ戻る関連記事Octoparseブロッキング防止設定どのような場合に追加のプロキシサーバーを使用する必要がありますか?Octoparseはどのようなデータ出力形式をサポートしていますか?再試行Webページから複数の画像を抽出する方法サポートに関するお問い合わせお困りのことがございましたら、お気軽にご相談ください。スクレイピングツール。