on:2011年2月14日sponsorsWordPressで構築している当サイトのrobots.txtを見直そうと思い、参考にした記事をいくつか紹介します。[ad#ad-2]下記は各記事のポイントをピックアップしたものです。SEOrobots.txtファイルは、ウェブを探し回る検索エンジンのロボットに制限を与えるものです。Exclusionロボットは自動化されており、サイトのページにアクセスする前に、そのサイトにrobots.txtファイルの存在を確認します。WordPressにとっては、たとえば管理系のファイルなど検索エンジンには必要ではないコンテンツをもっているため、robots.txtの設置は大切です。WordPressで生成したページはカテゴリフォルダ、毎月のアーカイブ、タグ一覧など複数のページから同じページを見つけることができます。Googleはコンテンツの複製を好きではないため、こういったものも阻止するようにします。*」は全てのロボットを対象に、という意味です。二行目以下の指定は、「/wp-content/uploads」以外は全て「Disallow」で拒否にしました、「/wp-content/uploads」にはコンテンツのためにアップロードした画像が含まれています。/*?URLに「?」を含むものも拒否にしました。これはパーマネントリンクをカスタマイズし、URLに「?」を含むものはないためです。/*.xhtml$「.php」「.js」などのファイルも拒否にする必要があります。使用する環境にあわせて、ファイルのリストを修正して利用します。imageとadsenseのロボットのアクセスを許可します。XML-SITEMAP-PLUGIN最後に、サイトマップファイルを指定します。これは自身のものに変更してください。TipsWordPress用のrobots.txtのポイントGoogleの検索結果で上位に表示されるサイトの「robots.txt」を参考にしてみる。WordPressで作ったサイトは重複したコンテンツを作る傾向があるが、Googleなどの検索エンジンはこの重複したコンテンツは好まない。robots.txtを設置するのは、ルートにする。robots.txtではなるべく「Allow」は使用しない。WordPress30秒で学ぶrobots.txtrobots.txtの主な役割は、サイトの指定されたファイル・ディレクトリへの検索エンジンのロボットのアクセスを拒否し、明示的に特定のファイルやディレクトリへのアクセスを許可することです。Bingのロボットがサイトに訪問した際に、サイトのどこに行くことができるかを知らせるために使用されます。特定のUAを知らせ、サイトマップを宣言することもできます。robots.txtの設置robots.txtはシンプルなテキストファイルで、あなたのウェブサイトでアクセス可能なルートに設置するようにします。Posts関連記事が見つかりませんでした。