14日間無料トライアルよくある質問DeepCrawlに関してお客さまからよくお問い合わせいただく質問と、その回答(Q&A)をご紹介しています。表示されている価格は税込みですか?はい、各プラン税込みの価格です。請求書で支払うことはできますか?可能です。弊社営業部(sales@gmotech.jp)まで購入したいパッケージをお知らせください。Serviceを使用して保存されます。このサービスは、世界で最も安全なクラウド環境の1つです。クロールデータは、クロールがアーカイブされるか削除されるまでEC2サーバのデータベースに保存されます。レポートデータおよびバックアップはS3に保存されます。弊社は、VPNおよびセキュリティグループを使用し、データへの許可されていないアクセスを防止します。同時に複数のクロールを実行することができますか?はい、同時に最大10クロールを実行することができます。DeepCrawlの利用は、ユーザーのアナリティクスツールに影響しますか?Googleアナリティクスなどの各アナリティクスツールでは、一般的に使われているブラウザの内で実行するJavaScriptトラッキングタグが使用されます。DeepCrawlでのクロールは、ユーザーのアナリティクスデータに影響しないページにおいて、一切JavaScriptを実行しません。古いアナリティクスツールには、ウェブサーバーに保存されるログファイルデータを使用するものもあり、これらはGoogleやBingなど、DeepCrawlを含むクロールによって影響を受ける可能性があります。DeepCrawlを使用する前に、トラッキングタグを追加したりサイトを認証する必要がありますか?いいえ、公開されているウェブサイトをクロールするために何かをする必要はありません。通常は、トラッキングタグの追加や認証プロセスも不要です。クロールがブロックされないように、IT管理者またはWebサイトのホスティング担当者に、あらかじめ通知しておく必要があります。テスト用のWebサイトやステージング環境など、独自のネットワーク上のプライベートWebサイトをクロールする場合は、ユーザーエージェントまたはIPアドレスを識別することでDeepCrawlへのアクセスを許可するか、基本的な認証またはDNS設定を行う必要がありますDeepCrawlが他のサービスより優れている点は何ですか?DeepCrawlは経験豊富なSEO担当者によって設計されており、幅広い問題を解決するために使用されています。ほとんどのクローラーよりも詳細で広範囲なデータの取得が可能であり、データはより扱いやすく、実行しやすいフォーマットで提供されます。DeepCrawlはクラウドベースのクローラーであるため、ローカルで実行されるソフトウェアベースのクローラーに比べて、大量のクロールが実行可能となります。マシンのスペックや、マシンで実行されている他のアプリ等に影響されることもありません。非常に高度なカスタマイズと制御をすることができ、各プロジェクトに合わせてクロールを調整できます。DeepCrawlができることは何ですか?DeepCrawlは、クラウドベースのウェブクローラーです。DeepCrawlを設定すれば、様々なタイプのクロールに対応できます。ご利用のウェブサイト、ステージング環境、外部サイト、アナリティクスデータ、被リンク、サイトマップ、URLリストをクロールすることができます。DeepCrawlは、Webサイトの構造を分析し、技術的な問題を理解および監視して、SEOのパフォーマンスを向上させるのに役立ちます。価格設定と支払いアクティブプロジェクトとは何ですか?アクティブプロジェクトとは、現在の請求期間にクロールが実行されたプロジェクトです。上限に達した場合は、次の請求期間まで、有効なプロジェクトでのみクロールを実行できます。期間内に上限を増やす必要がある場合は、アドオンを使用してアカウントのアクティブプロジェクトをさらに購入できます。アカウントに保存できる非アクティブプロジェクトの数に制限はないため、削除する必要はありません。クロールできるWebサイトの数に制限はありますか。プロジェクトの数に制限があります。解約する場合、レポートにアクセスすることができますか?アカウントの有効期限が切れるまで、データを使用できます。データを引き続き使用するためには、アカウントの有効期限が切れる前にエクスポートしてください。どのようにクレジットカードやデビットカードを変更すればよいですか?クレジットカードかデビットカードでお支払いの場合は、銀行に問い合わせいただき、口座引き落としまたは自動振替の詳細を修正することができます。サブスクリプションエリア経由でプラットフォーム内から詳細を変えることもできます。ご不明な場合は、sales@gmotech.jp宛にご連絡いただければ、弊社にて対応いたします。契約中のプランを解約するにはどうすればいいですか?クレジットカードかデビットカードでお支払いの場合は、ほとんどの大手銀行でオンラインバンキング経由で自動引き落としをキャンセルすることができます。銀行に連絡するか、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にご連絡いただければ弊社にて対応いたします。クレジットの残りは、有効期限まで利用可能です。有効期限が切れるとDeepCrawlインターフェースが利用できなくなりますのでご注意ください。データを今後も引き続き使用したい場合は、アカウントが期限切れになる前に、エクスポート機能をご利用ください。この件に関して不明点がある場合、担当のアカウントマネージャーに連絡するか、GMOTECHサポートデスクdeepcrawl-support@gmotech.jp宛にご連絡ください。月間のクレジットを使い切った場合、どのように追加すればよいですか?アカウントにログインしてサブスクリプションに進み、クレジットのセクションの「クレジットを購入する」をクリックします。購入したアドオンクレジットは、購入日から30日間有効です。古いアカウントを復活させるにはどうすればよいですか?アカウントにログインしてサブスクリプションに進みます。最近のパッケージアイコンの隣の「復活する」をクリックします。契約中のプランをダウングレードするにはどうすればいいですか?サブスクリプションに進み、クレジットセクションの「ダウングレード」をクリックします。上記の方法で出来ない場合は、担当のアカウントマネージャに連絡するか、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にご連絡ください。契約中のプランをアップグレードするにはどうすればいいですか?サブスクリプションに進み、クレジットセクションの「アップグレード」をクリックします。上記の方法で出来ない場合は、担当のアカウントマネージャに連絡するか、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にご連絡ください。請求書は、どこを見ればよいですか?すべての支払い関連のアクションについては、アプリケーション内のサブスクリプションをご覧ください。請求書を確認するには、サブスクリプション画面の「支払明細書および請求書」のボタンをクリックします。請求書で支払うことはできますか?sales@gmotech.jpに連絡し、ご希望のパッケージを指定してください。支払いはどこの通貨ですか?日本円でお支払い可能です。価格設定ページの右上で指定通貨を選択して希望のパッケージを選択し、購入をクリックしてステップに従います。後日、指定通貨で請求されます。アドオンクレジットは、どれくらいの期間有効ですか?アドオンクレジットは、購入日から1ヵ月間有効です。最低契約期間はありますか?最低契約期間は12ヵ月です。APIDeepCrawlにはどんな技術を使っていますか?DeepCrawlは、プログラミング言語Rubyを使用してデータを処理し、インターフェース用のHTMLとJavaScriptを生成します。当サービスは、アマゾンウェブサービスのクラウドコンピューティングプラットフォーム内ですべて実行されます。代理店も使用できますか?はい、インターフェースを自由なロゴでホワイトラベルとして使用することができます。APIを利用できます。APIキーおよび命令文が利用可能なAPIアクセスです。使用は公正なポリシーに基づきますが、イレギュラーな事情がある場合には、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にお気軽にご連絡ください。KBのデータを含みます。URLリスト、XMLサイトマップ、アナリティクスデータまたは被リンクデータアップロードに対する最大ファイルサイズはどれくらいですか?URLリスト、XMLサイトマップ、アナリティクスデータ、被リンクデータに対して最高100MBまでのファイルをアップロード可能です。平均的なクロールでどれくらいクレジット数を消費しますか?クロールするウェブサイトと、詳細設定でクロールに対する制限または規則が適用されているかどうかによって全く異なります。実行中のクロールを休止することはできますか?「クロール」フェーズのどの段階でも手動でクロールを休止することができます。後で再開することもできますが、72時間後に自動的に終了します。クロールは設定された限界に達するか、限界に達する前にクレジットがなくなると、特定の状況で(必要なオプションがクロール前に選択された場合に)自動的に休止します。いずれに倍も、クロールは自動終了前の72時間は休止したままになります。クロールのスピード、深さ、クロールのURL制限は、一切休止することなく変更できます。テストサイトセクションでは、テストサイト認証はIISで機能しますか?IISはBasic認証をサポートし、正常に機能します。クッキーを使用するその他のタイプのパスワードソリューションを実行することもできますが、クッキーを保存しないため、DeepCrawlでは機能しません。サイトをクロールするときに、DeepCrawlはURLとしてCSSとJavaScriptを含みますか?はい、DeepCrawlは、HTTPステータスをチェックするために、CSSおよびJSファイルを検出してクロールし、無効または許可されていないファイルについてレポートします。詳細設定>スコープ>クロール制限で、この設定を変更することができます。DeepCrawlは、CSSとJavaScriptをクロールしません。実際に、DeepCrawlは非HTMLファイルをクロールしません。DeepCrawlは、使用中のサイトでダウンロード用のPDFドキュメントをクロールしレポートしますか?PDFドキュメントが内部でリンクされている場合は、検出してリストにレポートされます。「詳細設定」で「非HTMLファイルタイプをチェックする」を設定した場合、DeepCrawlは対象リンクのHTTPステータスをチェックします。DeepCrawlは使用サイト上で画像のAltタグを検出しますか?DeepCrawlは、内部リンクデータレポートに表示されるリンクイメージのaltテキストを検査します。詳細設定のカスタム抽出を使用し、リンクされていない画像上の空のAltタグを識別することができます。DeepCrawlは使用サイト上のH1/H2などのタグを検出しますか?DeepCrawlは、デフォルトでH1、H2およびH3タグを検出・抽出し、複数のH1タグと足りないH1タグに関するレポートを生成します。DeepCrawlはH4、H5などは検出しません。DeepCrawlのカスタム抽出を使って実行することができます。弊社のカスタム抽出ガイドを読んで方法を確認してください。DeepCrawlがサイトをクロールするときに、robots.txtファイルを適用したり無視させることはできますか?DeepCrawlは、クロール設定に選択したユーザーエージェントに基づいてご使用のサイトで有効なrobots.txtに従います。Overwrite機能を使用し、指定した替わりのバージョンを使用することもできます。DeepCrawlが特にrobots.txtファイルで許可されていない場合には、それに従います(この場合、ステルスクロールによって支障なくサイトのクロールを実行することができます)。DeepCrawlによって、クロール中に使用サイトは遅くなりますか?大半のサイトは、DeepCrawlによるクロール中でもまったく遅くなりません。サーバ容量がユーザーのリクエストを処理できないか、ユーザーのリクエストが増えている時にDeepCrawlがクロールする場合、遅くなるサイトもあります。この場合、クローラーの最高速度を制御してサイトの速度低下を防止することかできます。設定した停止期間中(午前1時~午前5時など)、クロールの速度を上げることによって、クロール活動を最適化することもできます。これはすべてクロール速度制限設定で設定することができます。クロールを設定して特定の時間、または自動的に実行することができますか?DeepCrawlでは、特定の速度(1秒あたりのURL数)で特定の時間にクロールをセットアップし、クロールするスケジュールを設定することも可能です(毎週、毎日、定時(24時間)など)。これは、クロールのセットアップ>クロール速度制限のフェーズ3で設定することができます。午前1時~午前5時のウィンドウ内でのみクロールを実行したい場合、午前5時から午前1時までの1秒あたりクロールするURL数を0に制限し、その期間中クロールを実行しないようにして、午前1時~午前5時の間にしかサイトをクロールしないように制限し、トラフィックがピークの時間を避けることができます。「制限を追加する」を選択し、午前5時から午前1時までを選択してクロール速度を0にします。ウェブサイトをクロールするためにモバイルボットを使用する場合、通常のGooglebotとどう違いますか?HTTPリクエストを行うために使うユーザーエージェントだけが変わります。サーバーが、モバイルユーザーエージェントに対して異なる反応をするようにセットアップされている場合、DeepCrawlはその情報を受け取りレポートします。DeepCrawlがサイトをクロールしているかどうかは、どのように見分けられますか?DeepCrawlは、ユーザーエージェント文字列内に「DeepCrawl」を含めると、それ自体を常に識別します。ユーザーエージェント文字列の包括的リストについては、ページ下部を参照してください。DeepCrawlからのリクエストは、どのIPアドレスから送られますか?デフォルトでは、DeepCrawlクローラーからのリクエストはIPアドレス52.5.118.182から送られます。リージョナルIPを選ぶ場合のIPアドレスは異なっているので、JavaScriptレンダリングと併用することはできません。アカウント設定で「カスタムプロキシ」を追加すれば、月別の少額料金でプライベートプロキシを提供し、あなた自身のプロキシサービスを使用することができます。この設定では、JavaScriptレンダリングと併用することはできません。DeepCrawlはクロール用にどのユーザーエージェントを使いますか?DeepCrawlは、最も一般的なサーチエンジン、デスクトップブラウザ、モバイル機器を含むクロール用の各種ユーザーエージェントを提供します。自分自身のカスタムユーザーエージェントを追加することもできます。https://deepcrawl.com/bot”]レポートDeepCrawlは国際文字エンコードをどのように処理しますか?DeepCrawlはコンテンツの長さの計算を含めて、どの言語でも文字を正確に処理することができます。ラテン文字以外のURLは、インターフェースおよびダウンロードデータ内にコード化されていないフォーマットで表示されます。5xxレポートに、手動でチェックするときには見えない503エラーが表示されるのですか?ご使用のサイトのサーバーにとって1秒あたり3URLをクロールするデフォルトの速度が速すぎるために起こることがあります。このため、ページがDeepCrawlによって503エラーとして記録されますが、通常はユーザーに対してOKを返します。クロール設定では、1秒あたり1URLに最大クロール速度を抑えて、503エラーが記録される可能性を低くすることかできます。クロール完了までの時間は長くなりますが、503を含む5xxレポートが表示される可能性は低くなります。Analyticsに表示される情報の日付範囲はどこまでですか?アナリティクスデータは過去30日分です。提供されるCSVフォーマットに従うことによって、クロールをセットアップするときに最大6ヶ月分のアナリティクスデータを手動でアップロードすることができます。「ボディコンテンツ重複」レポートと「ページ重複」レポートはどう違いますか?「ボディコンテンツ重複」レポートは、DeepCrawlが該当ページのボディのテキストのみを検査したURLを表示しますが、「ページ重複」レポートの結果は、HTMLタグを含むページ全体を分析するDeepCrawlから得られます。「ボディコンテンツ重複」レポートは、類似しているがテンプレートが異なるページを取得することもあります。重複していないページを重複ページレポートで表示できるのはなぜですか。重複は主観的な尺度です。多くの人々が非常に似たページや同じページを確認したいと思っているので、DeepCrawlはアルゴリズムを調整して、そうしたページを取得してきました。このアルゴリズムが重複していないページを重複と判定することもあります。類似ページを複数削除したい場合には、レポート設定で重複感度の設定を調整することができます。DeepCrawlはどのように重複ページを検出しますか?正確なページは検出が最も簡単ですが、多数の「類似」ページが見落とされているため、あまり役には立ちません。DeepCrawlアルゴリズムは、少しの差を許容するように調整されています。このアルゴリズムはほとんど同じページを検出します。ウェブページは日付などの細かい違いがあることが多いので、非常に小さな違いは無視します。DeepCrawlのアルゴリズムは範囲内の重複を以下のように分類します:重複ページ同じタイトルほぼ同じボディコンテンツ重複ボディコンテンツほぼ同じボディコンテンツ重複タイトル同じタイトル最も信頼すべきページ(DeepRankスコアに基づきます)を一次重複として報告し、一次ページセクションのリストに含めます。DeepCrawlがほぼ同じと見なし(上記基準に基づきます)あまり価値のないページは、重複ページとしてリストに入れられます。以下のページタイプは、重複レポートから除外されます:許可されていないNoindex正規化されているごくまれに誤判定はありますが、多くの場合、このアルゴリズムは正確に重複ページを識別します。DeepCrawlは常に微調整されているので、誤判定を受けた場合にはご連絡のうえ、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にサンプルを送ってください。重複ページを識別・処理する方法をもっと知りたい場合には、URL重複がご使用のウェブサイトにどのような悪影響が出て、どのようにそれを止められるかについてのブログ記事をお読みください。DeepRankとは何ですか?DeepRankは、Googleの基本的なPageRankアルゴリズムと同様の方法で計算される内部リンク重みの測定値です。DeepCrawlはすべての内部リンクを保存し、各リンクに同じ値を与えます。これは、各ページを示すすべてのリンク値の合計であるDeepRankを計算するために、何度も繰り返します。繰り返す度に値は最終値に近づきます。これは重要度の指標であり、現在のレポート内(クロール全体内)で最も重要なURLを示しやすくなります。問題と変化はどのように優先しますか?すべてのレポートには問題とその潜在的影響を表現するために重要度が割り当てられます。レポートは、ポジティブ、ネガティブ、またはニュートラルの記号も付けられます。問題のリストはネガティブレポートにフィルタリングされ、重要度によって増えるレポート内の項目数によって順序付けられます。そのため、問題が数値順に表示されることはほとんどありません。変化は、問題の重要度によって増えるレポート内の追加または削除された問題数によって順序付けられます。レポートコンテンツの変化をどのようにレポートしますか?レポートに関連するURLを計算する他、クロール間のURLの変化も計算します。URLがレポートに表示されるが、以前のクロールのレポート内にはなかった場合、「追加レポート」に含まれることになります。URLが以前のクロールに含まれ、現在のクロールに存在するが、特定のレポートにない場合は、「削除レポート」にレポートされます。URLが以前のクロールに含まれていても、現在のクロールのレポートには含まれていない場合、「不明レポート」に含まれます(例えば、最後にクロールしてからURLがリンクされていない場合や、クロールのスコープ外にある場合など)。共有レポートのリンクに期限はありますか?レポートを共有するときに、オプションのドロップダウンの期限切れ時間枠から選択することができます。この範囲は24時間から6ヵ月までで、デフォルトの設定は1ヶ月です。オンラインレポートは最近のクロール用のインターフェースでのみ利用可能であることにご注意ください。レポートはどれくらいの期間利用できますか?現在は、クライアントのアカウントが存続している間はクロールデータを保管しております。アカウントを解約するとデータは削除されますか?アカウントの期限が切れるとアカウントは休止しますが、いつでも復活したいときに復活できます。永久にデータ全てを削除したい場合は、個別に依頼する必要があります。担当のアカウントマネージャ-か、GMOTECHカスタマーサクセスチームdeepcrawl-support@gmotech.jp宛にご連絡ください。S3ストレージにバックアップされます。Manyであるため、信頼性が高いです。すべてのユーザーおよびアカウントデータは、1時間ごとにバックアップされます。クロールが終了する前に、レポートを見ることができますか?クロールが終了するまでレポートを見ることはできません。重複検出や内部リンク解析などの計算には、計算を開始する前に完全なページURLセットが必要なことが非常に多いためです。価格設定と支払いAPIクローリングレポートご質問はありますか?どのプランにするかご検討中の場合は、お問い合わせページからご連絡ください。ご質問があれば喜んでお答えします。