無料レポートDLSEO無料診断ホームブログrobots.txtとnoindexブログrobots.txtとnoindex2017/11/12ブログSEO全般TweetShare+1HatenaPocketfeedly目次robots.txtとはrobots.txtとはrobots.txtの設定・設置方法noindexとはnoindexとはnoindexの設定方法robots.txtによるブロックとnoindexを併用してはいけないページをブロックしたい場合の使い分けrobots.txtとはrobots.txtとはobots.txtとはクローラーロボットに対してディレクトリやファイル名ごとにブロックしたり、インデックスを許可しない指示を行うことができるファイルのことです。GoogleやYahoo!などの検索エンジンには、主に情報収集や統計データを収取するために、検索エンジンのクローラー(Webページを監視するロボット)が巡回しています。これによって、「このWebページはこういったコンテンツを提供している」と検索エンジンが認識(インデックス)するため、SEOに大きく関わる要因の一つと言えます。robots.txtが必要なのでしょうか。クローラーは内部リンクや被リンクを巡って対象のWebページに訪れるのですが、そもそもドメインごとにクローラーが訪問するページ数には限りがあります。そこで、ドメインの中にある重要で訪問して欲しいWebページに誘導することで、限られたページを効率よくクロールしてもらい、SEO効果を高めることができるのです。robots.txtの設定・設置方法robots.txtの設置方法は、クローラーに訪問して欲しくないWebページの最上位ディレクトリにrobots.txtというファイル名でテキストファイルを置きます。これをクローラーが認識してくれます。robots.txtの設定方法としては、設置したrobots.txtのファイル内に・クローラーの指定(Googleなど、どのクローラーを対象にするのか)・クロールの禁止(クロールを禁止するファイル)・クロールの許可(クロールを許可するファイル)などを設定して完了です。noindexとはnoindexとは指定したWebページを検索エンジンにインデックスさせないようにし、検索結果に表示させないようにするためのタグです。同じドメインの中に複数のページがあったとして、一部のページが低品質だったとしたら、そのページにつられて良質なページの評価までもが下がってしまい、全体的に弱いドメインなってしまう可能性があります。noindexを利用することで良質なページだけインデックスさせりことで、Webサイトの評価が下がらないようにするのです。下記のコードを対象とするWebページであるHTMLのheadセクションに記述します。content=”noindex”>※XHTMLで記述するときは、最後を「/>」で終了します。robots.txtによるブロックとnoindexを併用してはいけないWebページがインデックスされた際にrobot.txtでブロックしていると、検索エンジンがnoindexを設定されているページを読みにいくことができなくなります。すると、いつまでたってもインデックスから削除されない可能性がありますので、その場合はまずnoindexを利用し、インデックスが削除されてからrobots.txtでクローラーの訪問をブロックするように設定しましょう。ページをブロックしたい場合の使い分けでは実際にどういった場合にrobots.txtを利用し、どういった場合にnoindexを利用するのが適切なのでしょうか?いずれも検索エンジンに向けたSEO対策で利用することが多いのですが、利用する目的が違います。クローラーを効率良く訪問させるために、一部のWebページについて検索エンジンをブロックしたい場合にはrobots.txt、検索エンジンにインデックスさせないようにし、検索結果に表示させたくない場合にはnoindexを利用するといいでしょう。上記はいずれも一般ユーザーはアクセスできてしまうため、一般のユーザーには見せたくない場合には、basic認証やIPアドレスによるアクセス制限を設定する必要がありますのでご注意ください。無料メルマガのご登録(無料)SEOの最新情報を無料でお届けします!メルマガのご登録、誠にありがとうございます。COO2006年株式会社オプトにてSEMコンサルタントとして、大手企業のリスティング広告の運用に従事。その後、サクラサクマーケティング株式会社に転職し、SEOコンサルタントとして、10年以上、100サイトの以上の顧客のWEBマーケティングのパートナーを担う。セールス、新規企画開発、アライアンスと幅広く従事し、2014年より取締役社長として会社を牽引。無料メルマガのご登録(無料)SEOの最新情報を無料でお届けします!メルマガのご登録、誠にありがとうございます。学ぶ】なぜ中小企業のWEBマーケティングは失敗するのか?vol.1:市場環境編サクラサクマーケティング株式会社の社長の根岸です。今回は中小企業ならではのWEBマーケティングが苦戦する理由を弊社の顧客、また弊社自身の事例から解説していきたいと思います。[...]...令和時代に活躍出来るWEBコンサルタントとして押さえておくべき4つのスキル初めまして。私がサクラサクマーケティングに入社してから4年。[...]...【SEO検証】オリジナル画像を使うと順位が上がるのか?サクラサクラボ事例を公開!記事などに画像を使用する際には、PIXTAやShutterstockなどの素材画像を使用することも多いかと思います。その他の記事を見るおすすめコンテンツSEO対策(検索エンジン最適化)とは?初心者にもわかりやすく解説しますSEO対策とは「検索エンジン最適化」のことで、数あるWeb集客手法の中でも、検索エンジンからの成果を最大化することです。[...]...コンテンツマーケティングとは?特徴と事例、社内でできる方法を解説しますここ数年で急激にコンテンツマーケティングという言葉を聞くようになりました。Editorカリフォルニアワインの世界サクラサクLABOでは、WEBマーケティングでもっとも重要な最新のSEO情報を提供しています。初心者の方からプロのコンサルタントの方まで、幅広くご活用ください。