breakこのウェブサイトはご利用の端末での閲覧に対応していません。5th,2018SEO対策に重要な検索クローラーのクローラビリティを向上するためのウェブページの一覧、“XMLサイトマップ”の書き方。robots.txtについても。Language)”はテキストの構造をコンピューターが理解できるようにするための“マークアップ言語”です。ウェブページの構造を記述するためのHTMLも“マークアップ言語”で“タグ”によって構造を示しますが、“XML”も同じようにテキストの構造を示します。<members><member><id>0966</id><name>清原諾子</name><penname>清少納言</penname><department>内裏</department></member><member><id>0970</id><name>藤原香子</name><penname>紫式部</penname><department>内裏</department></member></members>このように“XML”では“タグ”でデータを囲むことでそのデータの意味を示すことができ、例えば、そのデータを検索しやすくすることができます。HTMLとは違い、“タグ”は最初から定義されているものではなく必要に応じて自由に決めることができます。“XML”もHTMLもどちらも“SGML”から派生した“マークアップ言語”ですが異なるのはHTMLがブラウザで人間が読むための構造を示すための“マークアップ言語”なのに対して、“XML”は主にコンピューターが理解するためのデータの構造を示すための“マークアップ言語”であるということです。Language)”とはもともと軍用機器のマニュアルなどの文書を電子化するためにつくられたマークアップ言語です。プレーンテキストに“タグ”を使用することによってデータに意味を持たせます。通常ワープロや表計算ソフトなどで作成されたデータはそのデータを作成したソフトウェアがないと使用することができ、ソフトウェアのバージョンが変わったり、そのソフトウェアを開発している会社がなくなってしったりするとデータが使えなくなってしまう可能性もあります。統一された記述ルールで異なるデバイスやプログラムでもデータを使用できるようにし、この問題を解決するために開発されたのが“SGML”が作られ、“SGML”は複雑で扱いづらいものだったため、“SGML”を改良して簡略化したのが“XML”です。異なるデバイスやプログラムの間でデータをやり取りする時必要となる統一した記述方法のことを“データフォーマット”と呼び、“XML”は“データフォーマット”の一種です。検索クローラーに知らせるためのURLの一覧です。検索エンジンの情報を収集する検索クローラーは通常ページ内に配置されているリンクを辿ってウェブサイト内をクロール(巡回)していきます。ウェブサイトの構造が複雑な場合や、規模が大きい場合、リンクがあまりされていないページがある場合はうまくクロールできず、一部のページがクロールされない場合があります。クロールされないとそのウェブページは検索エンジンに認識されず、検索エンジンにインデックス(登録)されることもありません。“XMLサイトマップ”で検索クローラーにページの一覧を示すことでこの一覧をもとに効率よくウェブサイト内をクロールしてもらうことができます。効率的にクロールしてもらうことができれば、ページが検索エンジンにインデックスされるまでの時間の短縮につながります。検索エンジンにインデックスしてもらえるかどうかはコンテンツのクオリティなどの条件もあるので“XMLサイトマップ”に記述したURLが必ずインデックスされるわけではありません。Google、Bing、Yahoo!といった大手検索エンジンは“XMLサイトマップ”に対応しているため、“XMLサイトマップ”を使用すれば主要な検索エンジンにクロールしてほしいページのURLを伝えることができます。XMLサイトマップは“メモ帳”などのテキストエディタでも簡単に作成することができます。XMLサイトマップは検索クローラー向けのものなので人間のユーザー向けにページの一覧を示したい場合は別にサイトマップページを設ける必要があります。xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><url><loc>http://www.example.com/</loc><lastmod>2015-05-29</lastmod><changefreq>daily</changefreq><priority>1.0</priority></url><url><loc>http://www.example.com/page1.html</loc><lastmod>2015-05-04</lastmod><changefreq>weekly</changefreq><priority>0.8</priority></url><url><loc>http://www.example.com/page2.html</loc><lastmod>2015-05-06</lastmod><changefreq>monthly</changefreq><priority>0.6</priority></url></urlset>XMLサイトマップのファイル形式ファイル形式は“.xml”で文字エンコードは“UTF-8”で保存します。0.0、0.1、0.2、...1.0の11段階で数値が大きいほど重要度が高い(デフォルトは“0.5”)XMLサイトマップの書き方XMLサイトマップに記載するURLを示すのは“<url>~</url>”に囲まれる部分で、これをXMLサイトマップに記載したいウェブページの数だけ繰り返し記述します。<url><loc>http://www.example.com/</loc><lastmod>2015-05-29</lastmod><changefreq>daily</changefreq><priority>1.0</priority></url>XMLサイトマップファイルに記述できるURLの数にはウェブサーバーに負荷がかかりすぎないようにするために制限があり、その数は50000個までです。XMLサイトマップ自体のファイルサイズは50MB以下である必要があります。この制限内に収まらない場合や、将来的に収まらなくなると予想される場合は後述する“サイトマップインデックス”を使用してサイトマップを分割します。ウェブサイト上のすべてのページをXMLサイトマップに記載する必要はありません。検索エンジンに登録してほしいページのみ記載します。XMLサイトマップで提示するURLはそのXMLサイトマップと同じホストにある必要があります。XMLサイトマップとは異なるドメインにあるウェブページは記載できません。異なるサブドメインにあるウェブページも記載できません。URLを記述する順番は特に意味を持たず、検索エンジンがどのようにそのURLを使用するかにも影響しません。記載したいウェブページのURLを示す“<loc>~</loc>”のみが必須で他の要素は省略することができます。URLに以下の記号が含まれる場合はエスケープコードと置き換える必要があります。&gt;“<lastmod>~</lastmod>”、“<changefreq>~</changefreq>”、“<priority>~</priority>”は参考にはされますが、必ずしもクロールされる頻度や検索エンジンにどのように表示されるかには影響するとは限りません。“<priority>~</priority>”はウェブサイト内での相対的な重要度を示すものなのですべてのページを“1.0”に設定すると意味がなくなってしまいます。トップページは“1.0”、第2階層は“0.8”、第3階層は“0.5”などと差をつけるようにします。#XMLサイトマップを複数に分ける“サイトマップインデックス”URLの数が多い場合、“サイトマップインデックス”を作成することができます。“サイトマップインデックス”は言葉通り「XMLサイトマップのインデックス」で、複数のXMLサイトマップを一度に検索クローラーに提示するためのXMLサイトマップの一覧です。サイトマップインデックスのファイル形式はXMLサイトマップと同様に“.xml”で文字エンコードは“UTF-8”で保存します。機械可読な形式の日時(時刻は省略可)サイトマップインデックスの書き方XMLサイトマップのURLを示すのは“<sitemap>~</sitemap>”で、これをXMLサイトマップに記載したいXMLサイトマップの数だけ繰り返し記述します。XMLサイトマップと同様に記述できるURLの数は50000個までで、ファイルサイズは50MB以下である必要があります。<sitemap><loc>http://www.example.com/sitemap3.xml</loc><lastmod>2015-05-29</lastmod></sitemap>サイトマップインデックスで提示するURLはそのサイトマップインデックスと同じホストにある必要があります。サイトマップインデックスとは異なるドメインにあるXMLサイトマップは記載できません。異なるサブドメインにあるXMLサイトマップも記載できません。XMLサイトマップと同様に“&(アンパサンド)”などの記号はエスケープコードと置き換える必要があります。“<lastmod>~</lastmod>”は省略することが可能できます。#XMLサイトマップを送信するXMLサイトマップが出来上がったらウェブサイトのサーバーにアップロードします。アップロードしただけでは検索クローラーにXMLサイトマップを見つけてもらうことができません。後述する“robots.txt”にファイルの場所を記載して検索クローラーにXMLサイトマップを知らせる必要があります。Tool”などのサービスにウェブサイトを登録するとXMLサイトマップを直接検索エンジンに送信することができ、早く認識してもらうことができます。Consolerobots.txt#“robots.txt”とは?“robots.txt”は検索クローラー(ロボット)にウェブサイトをどのようにクロールするべきか指示するためのファイルです。検索エンジンに登録してほしくないディレクトリやファイル形式を指定するのに使用することができるほか、XMLサイトマップの場所を検索クローラーに知らせることができます。以下は“robots.txt”のサンプルです。http://www.example.com/sitemap.xml“robots.txt”は“robots.txt”のファイル名で保存し、ウェブサイトのルートディレクトリ(一番上の階層)にアップロードしなければいけません。”に続けて絶対パスで記述します。http://www.example.com/sitemap.xmlクロールを制限する最初の例で、最初の2行は「すべてのファイルへ検索クローラーがアクセスすることを許可する」という記述です。この記述を書き換えることで必要に応じて検索クローラーがアクセスできるファイルに制限を加えることもできます。*Disallow:この記述を書き換えることで必要に応じて検索クローラーがアクセスできるファイルに制限を加えることができます。“User-Agent:”に続けて対象とするクローラーを指定します。この記述はすべてのクローラーが対象であると指定します。*特定のクローラーのみを対象とすることもでき、複数行記述すると複数のクローラーを対象することができます。Googlebot-Image上の例ではGoogleの検索クローラーとGoogleの画像検索クローラーのみ対象とすることを指定します。そのあと“User-Agent:”で指定したクローラーがクロールすることを“Disallow:”で禁止、もしくは“Allow:”で許可するディレクトリやファイルを指定します。/img/以上の例ではすべてのクローラーに“img/”ディレクトリのクロールを禁止しています、例外としてGoogleの画像検索クローラーにのみこのディレクトリのクロールを許可しています。テスター”で検証することができます。Console”に登録している必要があります。