クロールソースの設定では、サイトマップのデータソースのみ含むようにしてください。それから、以下3つのオプションからXMLファイルを追加してください。/robots.txtファイルで引用されているXMLサイトマップ(デフォルト設定)XMLサイトマップのURLを手動でコピーしてDeepCrawlへ貼り付け.xmlか.txt形式のファイルを手動でDeepCrawlにアップロード上記のどの方法でXMLサイトマップをクロールに追加するかは、技術的な設定に完全に依存します。それぞれのオプションを使う方法についての詳細は、クロールプロジェクトへXMLサイトマップを追加する方法のガイドをお読みください。いずれかの方法でXMLサイトマップを追加した上で、次のステップに進んでいただき、クロール上限と詳細の設定を行ってください。すべての設定が終わったら、テストクロールを実行してください。各クロールプロジェクトでの問題や設定上の問題を検出することができるので、ここでテストクロールを行うことは欠かせないステップとなります。現状、DeepCrawlでは、クロールするHTTPのステータスコードやURLは表示されません。クローラーが4xxや5xxのエラーコードを検出したり、クロールされるべき実際のページを表示したりしない場合には、これは問題であると言えます。クロールプロジェクトの設定が完了したら、[クロールを保存して開始]を選択してください。テストクロールが完了するまでお待ち下さい。サイトマップのクロールにかかる時間はクロールする量により異なります。クロールの結果クロールが終わったら、エラーがないか確認してください。4xxや5xxのステータスコードを確認するには以下の指標をお使いください。不正なページ失敗したURL未クロールのURL5xxエラーが大量にある場合は、サイトのサーバーがDeepCrawlからのリクエストを処理しきれていない可能性があります。この場合、クロールプロジェクトでクロール上限設定を変更したり、自社のWeb最適化チームとサイトのクロールはいつ行うのが最も良いか話し合ったりすると良いかもしれません。DeepCrawlは、URLエラーの確認に加え、追加されたXMLサイトマップが有効かどうか検証する目的にも使うことができます。サイトマップの有効性を確認する方法のガイドを公開しているので、ぜひ合わせてお読みください。XMLサイトマップの課題を検出するクロールプロジェクト内のXMLサイトマップに問題がなければ、次のステップはサイトマップの監視と、問題に対処するためのタスクの作成です。DeepCrawlを使ってXMLサイトマップを監視する方法のガイドを読んでそのクロールに追加されたあらゆるXMLサイトマップに関する潜在的な問題を検出してください。XMLサイトマップで問題を示唆する一般的なDeepCrawlの指標は以下の通りです。XMLサイトマップのURLで、4xxのHTTPステータスコードを返したものか、robots.txtファイルでブロックされたもの上記の各指標は良く利用される指標ですので、その他の指標も組み合わせて、自社サイトに固有のXMLサイトマップの問題を検出することをおすすめします。以下のような方法があります。重複したコンテンツのあるURLサイトマップ内に内容の薄いコンテンツのあるURLbodyコンテンツが空のURLサイトマップの問題をモニタリングするためのタスク作成DeepCrawlのタスク管理システムを使い、問題を検出する度にタスクを作成することをおすすめします。タスク管理システムにタスクが作成されると、DeepCrawlのレポート用URLに割り当てられます。タスクを作ることでユーザーはXMLサイトマップのクロールプロジェクト内の課題をモニタリングでき、メールでの通知を受け取ることができます。問題が検出されたら、画面右上にある[タスクマネージャー]のアイコンをクリックしてタスクを作成し、プルダウンで[タスクを作成する]を選択してください。その後以下のステップに従って進めてください。必要であれば期限を設定[作成]を選択クロールのスケジューリング予定通りにクロールを開始するため、クロールをあらかじめ設定しておくと便利です。設定したいクロールプロジェクトの詳細設定から、クロールのスケジュールのオプションを選択して下さい。クロールの開始時間やクロールの頻度を選択してください。スケジュールの選択肢は以下の通りです。サイトの更新にともなう変化をモニタリングするにはクロールをスケジュールしておくのが便利です。自社の開発チームが本番環境への更新を2週間おきに行っているのであれば、隔週のオプションを選択してください。その後クロールを開始する日付と時間を選択してください。4:00amなお、サイトの更新直後のタイミングでクロールを行うような設定にしておくことをおすすめします。更新以前にクロールする設定になっている場合、XMLサイトマップの変更点や新たに発生した問題点を見逃してしまう可能性があります。設定した日付から定期的にクロールが実行されます。4:00amとなります。タイムゾーンは設定内で表示されます。[タイムゾーン]で変更できます。以上で、サイトマップのクロールプロジェクトをモニタリングする設定は完了です。メールでサイトマップをモニタリングするクロールが完了して次のクロールまで待機している状態になると、ツール内で作成した全てのタスクがDeepCrawlからメールで送信されます。このメールはタスクのタブにある全てのタスクを含んでおり、以下のような項目にて通知致します。優先順位:ユーザーにより設定された優先順位これらのレポートはDeepCrawlがプロジェクトのクロールを実行するたびにメールにて送信されます。残りのページが増えている場合、またはDeepCrawlのレポートの詳細を把握する場合には、そのタスクのタイトルをクリックしてください。タスクのタイトルをクリックすると、そのままDeepCrawlのレポート画面に遷移します。まとめこのページでご紹介した手法を使うことで、ユーザーや担当チームの要望に応じてサイトマップをモニタリングしたりクロールをスケジュールしたりできます。具体的に、これらの手法により以下のようなことができます。