短時間に大量アクセス。短時間に大量アクセス。見に行くルールになっています。従って、拒否したいクローラがあれば、先ずこのファイルに記述します。/"(全てのアクセスを拒否)にします。項目名については、最初の文字だけを大文字にしておいたほうが良いようです。一組ずつ必ず空白行を挟んで記述します。コメント行を意味します。どのクローラを拒否するかは、サイトのアクセス情報を良く分析して、ご自分の判断で行ってください。