無効となっていませんか?このサイトでは、コンテンツの一部が非表示、あるいは、コメント、お問い合わせの投稿ができない、検索ができないことがあります。レンタルサーバーで、案外、負荷がかかりやすいのが検索ロボットです。悪評高い「百度」(Baidu)は、やたらとサイト情報を採取しに来ます。サイトの大きさに比例して「百度」(Baidu)のアクセス数も増えてくるのが知られています。あなたのサイトが、中国に一切関係ないのであれば、拒否するのも一つの案かもしれません。Wordpress,Joomla!などPHPで動的にページを作成する場合は、負荷の軽減が望まれるでしょう。今回は、その方法を説明してみます。検索ロボット(クローラ)拒否する方法は、大きく2つあります。以降、その具体的な方法について簡単に解説します。普通のクローラは、robots.txtの設定に従ってくれます。robots.txtには、以下の情報を設定します。以下は、その設定例です。/筆者は、この設定を行って、1週間経ちましたが、ユーザエージェントを変え、IPアドレスを変えながら、アクセスは、全く止まることはありませんでした。「百度」(Baidu)は、表面的に従っているふりはしますが、全くアクセスを止めることはありません。