この投稿を編集するrobots.txtは、検索エンジンや広告クローラー等、各種ロボット(ボット、スパイダー)のサイトアクセスについての制御指示を指定するファイルです。robots.txtは、テキスト形式ファイルでサイトのルートに設置します。robots.txtの設置は必須ではありませんが、クローラーのサイトへのアクセス制御を行いたい場合に役立つ機能です。デフォルト設定についてBloggerでは、デフォルトで適切なrobots.txtの設定が行われています。何か特に理由がない限り、基本的には設定を変更する必要はありません。デフォルトでどの様な設定がされているのかは、知っておくと参考になることもあると思います。設定内容の見方robots.txtは、サイトのルートに設置されています。ブラウザーのアドレスバーに、"www.example.com/robots.txt"'の様に、サイトのトップドメインURLに/robots.txtを加えてアクセスすると、ファイル内のテキストファイルが表示されます。テスターを使って設定内容を確認することもできます。ファイル内のテキストファイルが表示されます。Consoleで見ても、robots.txtの設定内容は同じです。以下はデフォルトのBloggerのrobots.txtの設定内容です。/備考:Bloggerの設定によっては、内容が若干、異なる(追加記述がある)場合があります。例:サイトマップのアドレスが追加されている。https://example.blogspot.com/sitemap.xml例2:以下の記述が追加されている。この記述は、Googleの検索エンジン(クローラー)向けの記述ですが、上の記述と同じため、実質的には変わりありません。Disallow:の右に何も指定しない場合、制限なく全てのURLにアクセスできる設定です。備考:AdSenseのクローラーは、基本的にサイト上を制限なくアクセスできるようにしておくべきなので、適切な設定です。最初からあえてAdSenseのクローラーにはアクセス許可を与えているところもBloggerの特徴です。AdSenseを利用するユーザーにとっては、助かることです。/備考:全てのロボットは、/searchディレクトリを除いて、全てのURLにアクセスできます。Disallowで指定するディレクトリは、訪問禁止を意味します。/search以下のアクセスを禁止しているのは、検索結果のページをインデックスさせないためです。検索の結果はクエリで異なります。検索結果ページをクローラが訪問して、インデックスしてしまうことを防ぐために設定してあります。全てのURLにアクセス許可することを示します。例外を、その上のDisallowで設定します。上記設定は、基本をしっかりと踏まえた適切なrobots.txtの設定です。Googleの検索エンジンのアルゴリズムは、非常に高度でインテリジェントです。例外(検索結果ページ)を除いて、基本的に全てのURLにアクセス許可することをお勧め致します。理由がない限り、robots.txtの設定を変更する必要はありません。デフォルトの設定のままです。内にXMLサイトマップのURLを記載して、検索エンジンに伝えることができます。この設定は、Bloggerの方で自動的に行なっています。Consoleにプロパティを登録し、サイトマップを送信していれば、robots.txt内にサイトマップのURL記載は必要ありません。Consoleで送信していますが、robots.txtには記載していません。(する必要はありません。)Bloggerの場合は、特に何もせずデフォルトの状態でも、基本的なSEOの設定は適切に行われるのが特徴です。robots.txtもデフォルトの状態で十分です。12:18こんにちは。初めまして、最近Bloggerを使い始めて、ブロギングライフ様の記事を参考に、OGP設定とTwitterカード設定をしたのですが、Twitter側にロボットと判断されてツイートが出来ない状態で、この記事にやってきましたが、私のテンプレートには、この記事のようなRobots.txt用の記述が、metaタグでindex、followと記載されていました。それを消去してこの記事のような記載方法に変えようと思うのですが、どこにこの項目を表記すればいいのか、判りません。テーマのHTML編集画面にmetaタグのrobots表記を削除して貼り付けたのですが、ブログを表示すると、サイトの一番上にコピペした文字列がそのまま見えるようになってしまいます。metaタグで指示しないといけないのかしら?それとも、この記事の記載方法を何かのタグで頭と終わりを閉じ込めないといけないのか判りません。これは、ダッシュボードの設定画面の検索設定の独自のrobots.txtってところを有効にして、そこに書くんですか?教えてください。0:40はじめまして。ように記載したりするので、robots.txtと関連性があるように思われる可能性がありますが、メタタグとrobots.txtは、機能が全く異なります。robots.txtの内容は、ページのソースコードをブラウザーで表示しても表示されません。タイプしてアクセスすると内容が表示されます。まこめぐ姫さんのブログのrobots.txtを見てみましたが、デフォルトの状態となっていました。デフォルトの設定で問題ありません。robots.txtの設定は問題ないです。12:41ありがとうございます。ダッシュボードの独自のrobots.txtの所に貼り付けたら、上手くいきました。確認していただきありがとうございました。それと、Twitterの件ですが、投稿公開時に自動的にツイートされておらず、自分で、Twitterに対して、自身でツイートするところで、タイトル+記事URLでツイートしようとすると、はじかれて、自分のブログ表示のツイートボタンからでも今までは、ツイート出来てない状態でした。robots.txt設定をしたので、上手くいくかと思っていたら、送信できておりませんでした。6:37お返事ありがとうございます。Twitterとの連携や(設定を含む)Twitterカードの表示とrobots.txtは関係がありません。「Twitterの件ですが、投稿公開時に自動的にツイートされておらず」とのことですが、何か自動的にツイートするようなアプリやサービスをご利用されているのでしょうか?Twitterカードは、ツイートに記事のURLを添付したり、共有ボタンを押して投稿すると設定した付加情報(画像やスニペット)が表示される機能です。5:36ブロギングライフ様へ先日、Twitterカードの投稿が出来ないとお伝えしましたが、Twitterのヘルプから、投稿できない場合という記事を目にして、投稿記事にTwitterカードのメタタグを貼り付けて、ブラウザを更新させてから、Bitlyに記事のURLを登録して短縮形のURLを生成してもらって、それをBitlyからシェア機能を使うときちんとツイート出来ました。問題が、タイムラインの画像をクリックして元のページに行けるか試したのですが、私のブログが危険なサイトだと認識されていて、リンク先に行くのは待ちなさいみたいな表示が出たので、Twitterのヘルプセンターに今お問い合わせ中です。6:43更新情報のご連絡、ありがとうございます。無事にカードのURLを添付(Bitlyを使うのはURLを添付することです)して、シェアできたとのこと、良かったですね。「タイムラインの画像をクリックして元のページに行けるか試したのですが、私のブログが危険なサイトだと認識されていて、リンク先に行くのは待ちなさいみたいな表示が出たので、Twitterのヘルプセンターに今お問い合わせ中です。」これはTwitterの設定だと思います。Twitterのアカウントの設定の「プライバシーとセキュリティ」の中のセキュリティにある「センシティブな内容を含む可能性のある画像/動画を表示する」と「ツイートする画像/動画をセンシティブな内容を含むものとして設定する」のボックスにチェックが入っているかご確認されることをお勧め致します。それから投稿するとツイートを自動投稿するような機能は、どうしても使いたい!何か問題があっても楽なので自動でツイートさせるようにしたいとお考えになるのでなければ、お使いにならないことをお勧め致します。0:28Twitterの設定画面で画像投稿の設定変更ですね、確かにその項目にはチェック入れていませんでした。入れて良いものなのかどうか迷ったのが実情でした。怪しい投稿をする人と思われないかっと危惧しておりました。