ツイートするシェアするピンするブクマするあとで読むLINEで送るWebサイトを作成していると、検索エンジンのクローラーに訪問して欲しくないページ(例:プライベートなページなど)を作成する場合があるかもしれません。いうファイルを作成し、インデックスに登録するページを制御することができます。基本的によく使う記述をまとめてみます。ファイルは通常のテキストファイルになりますので、普通のテキストエディタ(メモ帳など)で作成できます。ファイルはWebサイトのルート直下にアップロードします。当サイトで設置した場合のアドレスは以下の通りになります。どのクローラーにクロールを指示するかの指定になります。通常は「*」を指定して、全てのクローラーを許可するようになるかと思います。User-Agent:Googlebotなどと指定すれば、Googlebotのみ許可もできますが、あまり使用することは無いでしょう。通常は下記の様に記述して問題ないかと思います。Disallowでアクセス制御Disallowはアクセスを制御するディレクトリまたは、ファイルを指定する記述です。いくつか記述方法がありますので、例を記載します。上記はhoge-directoryのディレクトリ内をブロックしています。上記の場合、拡張子が.pngのファイルをブロックしています。Allowでクロール制御下のディレクトリ内の特定ファイルのみ許可Disallowでクロール制御をしているディレクトリ内に、このページだけはクロールして欲しいというページなどがあればこのAllowを指定します。注意事項としましては、Disallowを記述した行よりも下の行に記述します。XMLサイトマップの指定XMLサイトマップ(検索エンジン用サイトマップ)のアドレスを記載することによって、クローラーにXMLサイトマップの存在を知らせることができます。sitemap_index.xmlの部分は、XMLサイトマップのファイル名に合わせて変更してください。sitemap.xmlとなっている場合はsitemap.xmlを指定してください。登録している場合、robots.txtテスターで問題なく設置出来ているかの確認ができます。[robots.txtテスター]を開いてください。robots.txtに記載した内容が表示され、エラー数と警告数が0であれば問題ありません。設置は必須ではありませんが、Googleクローラーにクロールして欲しくないページがある場合は指定した方が、良いかもしれません。(Googlebot以外は言うこと聞かないかもしれませんが...)また、XMLサイトマップを指定しておけば、Google検索エンジンのクローラーがサイトを訪問した時に、サイトの構造を効率よく知らせることができるので、自分は必ず指定しています。基本的な記述方法でした。Yamamoto広島県広島市育ち、現在岡山でWeb制作の仕事をしています。「Web関連で勉強したこと、役立つアイディア」をテーマにした内容を備忘録としてブログに書いています。大学卒業後は勤務している会社のWeb制作を担当。小規模サイトから大学公式サイトの制作・運営などに携わっています。15歳未満は無料で楽しめる子連れにやさしい動物園ですコメントはこちらコメントをキャンセルコメント名前メールアドレス次回コメントで使用するためブラウザに自分の名前、メールアドレスを保存する。JunJunWeb.Net。