PCフォルダやファイルをクロールされたくない場合にすることフォルダやファイルをクロールされたくない場合にすること2015.01.08HTMLPCコメントを書くTweetWebを作成していると、Googleなどのクローラーにインデックスされたくないファイルやフォルダが発生することがあります。テストやデモで用意したページやWebサイトなどです。htmlファイルなどにmetaで記述することでも対応できますが、これではファイル個別単位になります。テストであげたhtmlではないファイル、例えばDL用として用意したPDFファイルには設定できません。ここでは、「robots.txt」ファイルを利用したやり方を備忘録として記述しておきます。/robots.txtの設置場所クロールを制御したいフォルダやファイルが存在するサーバーのrootディレクトリに設置すればよし。)この記事へのコメントはありません。この記事へのトラックバックはありません。URL返信をキャンセルする。