百度会長、クロールの負荷について語るニュースツイート[リンクにアフィリエイトを利用している場合があります]スポンサードリンク百度Li会長「理解得るには時間かかる」--国内サイトのアクセス制限問題に危機感という記事より。国内サイトのサーバに多大な負荷をかけて問題視されている同社のクローラー「Baiduspider」について、「管理者の方々に理解してもらうには時間がかかるだろう」とコメントスポンサードリンク百度のクロールというと、そりゃもう大変なものでした。負荷がかかりまくりで、ネタフルでも対策させて頂いています。いう影響もあって、予定されていた3月下旬のサービス開始が遅れるようです。「今年中にサービスを開始する」と少し弱気になっています。いろいろなところでブロックされまくりなのでしょうね。日本のサイト管理者様へのメッセージがウェブサイトに掲載されています。今後はこの問題について会社全体が真摯に受け止め、日本のインターネット業界におけるルールに従い、このようなことが二度とないように努めていく所存でございます。具体的にはクロールの頻度を「9回/秒から1回/3秒まで」下げたり、「毎日のクローラー総量をコントロール」するなどしているようです。いえ「中国でバイドゥは知名度が高く、クローリングに関して特に問題はなかった」というのも、ちょっと違うような気もします。「検索エンジンとしてコンテンツ(の収集)は一番大切」という通り、ここを乗り越えられないと百度としても日本での展開はあり得ません。無印良品ネタフルについてiOSノウハウ、iPhone、旅行ブログ、浦和レッズ、グルメ、雑学、簡単レシピ、ポケモンGO、Ingressなど自分が興味のある様々なジャンルについて書いているブログです。