2014年7月2日SEOサイトを運営しているとGoogleウェブマスターツールに「重複するメタデータ」「短いメタデータ」などの表示がでてきます。(HTMLの改善を見るとでてきます)上記のような重複するメタデータや、タイトルタグなどです。これらをこのまま放置していてあまりに数が多くなるとGoogleより低品質サイトの判断をされる可能性があり検索エンジン上よくありません。重複するコンテンツは、Googleのサイト評価が下がります。必要ないURLはインデックスさせない設定ができるので、こちらで解説していきます。Googleウェブマスターツールを確認するGoogleウェブマスターツールに、運営するサイトを登録しておくと、サイトのHTML重複コンテンツなどが反映されてきます。下記の画面で確認していきます。画面の「検索のデザイン」→「HTMLの改善」で重複などが表示されます。こちらで表示される以下のような表記を確認します。/category/のコンテンツが重複なのでインデックスさせなくても良い場合(これらをインデックスさせなくても、単独のURLがインデックスされているので良いとする)robots.txtを利用してnoindex(インデックスさせない指定)設定にすることができます。サイトURLがインデックスされているかどうかを確認するにはサイトURLがインデックスされているかどうかは【site:example.com】と検索する事で表示されます。各種SEOツールで確認もできます。Googleウェブマスターツールのエラー内容の確認にも使えます。SEOチェキ!SEOツールrobots.txtの使い方robots.txtとは、サイト内のインデックスしたくないURLをテキストに記述して運営サイトのサーバー指定箇所にアップしておくことによりそのURLがインデックスされなくなります。(noindex設定)手順は以下になります。noindexしたいURLをピックアップする。robots.txtファイルを作成する。運営サイトのサーバー指定箇所にアップロードする。それぞれ解説していきます。noindexしたいURLをピックアップする。重複コンテンツなどを確認し、noindexにしたいURLを確認します。robots.txtファイルを作成する。robots.txtの中身は以下の様に記載します。/author/「Disallow:」の後ろに記載しているディレクトリ名がnoindexにしたいディレクトリとなります。複数のエントリーを記述する事もできます。あなたのドメイン/sitemap.xml.gz「Disallow:」の後ろにウェブマスターツールで確認したnoindexにしたいURLディレクトリを追加していきます。記述が終了したら、当然ながらテキストファイルで「robots.txt」というファイル名で保存します。殆どの場合以下のURLはインデックスする必要がないので、記載しておきます。[すべての検索クローラを対象として、「/wp-」のディレクトリをクロールしない記述。]/wordpress/wp-*/wp-*注意事項Googleウェブマスターツールに表示されている重複メタは、ひとつは残していても問題ないです。robots.txtは、日本語表記だと反映されないのでURLを変換して貼り付けます。運営サイトのサーバー指定箇所にアップロードする。上記の作業でrobots.txtファイルを作成したらサーバーにアップロードします。「運営サイトドメインのフォルダ」→「public_html」こちらの階層にrobots.txtをアップロードします。ファイルに追加こちらのチェックを外します。上記赤枠の部分になります。robots.txtの設定が完了したら上記の設定が完了しましたら、Googlebotが次にクロールした時に、インデックスの削除が行われます。設定したサイトURLの末尾に「/robots.txt」と入れてアクセスすると、robots.txtの設定がブラウザで確認できます。例:http://www.example.com/robots.txt(http://www.example.com部分は、設定したサイトURLになります。)それでもインデックスされ続けている場合まれにrobots.txtで設定してもインデックスされ続けている場合があります。これは他のサイトからリンクされていたり、他サイトにURLが記載されている可能性があります。以下の記述をnoindexにしたいディレクト全てのページに記述します。content="noindex">は同時に使用できません。robots.txtのDisallow:に指定があると、Googlebotがそのページのクロールをしないので改めて設置したnoindexの記述をGooglebotが確認できないためです。metaタグとrobots.txtどちらがよい?基本的にはmetaタグでインデックス制御する方が、各ページごとに設定できて丁寧です。robots.txtでブロックするとクローラーがアクセスできなくなるため、そのURLページの中身を確認できなくなります。他のページからリンクがある場合などに検索結果にページがあることを表示してしまうことがあります。(その場合もrobots.txtで指定しているページ内はクロールされません)robots.txtはそれらの状況を踏まえた上で使用することを推奨します。WordPressの場合は、各記事URLごとにmetaタグを設定するのも手間なのでrobots.txtを重宝すると思います。まとめrobots.txtを使って上記の記述をしておけば、ディレクトリ単位でインデックス制御をする場合に便利です。ウェブマスターツールの重複が解消されると、サイトの検索エンジン上評価が高まりますので状況に応じて利用していきましょう。カテゴリーページの重複部分ですが、それ自体が原因となってペナルティを受けたりすることは現状可能性が低いです。数値上のものよりもカテゴリーページがきちんと存在するユーザビリティが大切です。重複コンテンツを減らす努力もしつつWEBサイト構築の基本的な概念も理解して取り入れていきましょう。関連記事robots.txtは、Wordpressプラグインを使用して設定することもできます。コメントをキャンセル名前メールアドレス(公開されません)ウェブサイトコメントコメント送信ネットビジネス系無料オファーまとめ放置で巨額の現金を稼いだページです。Robots.txtの使い方と導入設定方法を解説。それらを元にインターネットで情報発信する可能性に目覚めたミドルエイジ。SEOでのサイトアフィリエイトを中心にインターネットビジネスを展開。ブログとメルマガで新しい可能性を提示しています。CourseこのページであなたはWordpressサイト構築を全て自分のものにします。初心者の為のWordpressブログ使い方講座このページであなたはWordpress記事投稿を完全マスターします。viewsTwitterアカウントのつくり方と使用方法を解説!追加で複数個つくれます。2012インターネットビジネスロジック-副業起業の成功事例-。