2019検索サイトにインデックスさせたくないページがあったり、まだ公開したくないページなどがある場合、robots.txtで検索サイトのクローラを制御することができます。Gatsby製のサイトでrobots.txtを配置したかったのでプラグインを試してみました。プラグインを使うgatsby-plugin-robots-txtgatsby-config.jsに以下の設定項目を追加します。]};上記の設定で下記のrobots.txtが作成されます。https://www.example.comデプロイする環境ごとに設定を変える例えばS3にstaging環境を用意している場合などはクロールさせたくありません。いう場合は環境変数で場合分けすることができます。gatsby-config.jsにenvを追加してdevelopmentとproductionを追加します。stagingだとちゃんと動作しませんでした。]};コマンドにNODE_ENVを追加します。buildはproduction固定になってしまうようになりました。いつか変わったのかなぁ...。environment.issueを投げてみました。GitHub代わりにGATSBY_ACTIVE_ENVというプロパティを使えば環境ごとに出し分けできます。コマンドはこんな感じ。build,gatsby-config.jsの設定はこのように変えます。}これでdevelopment環境とproduction環境のrobots.txtを出し分けすることができます。robots.txtの設定項目まぁググればすぐにわかるんですが、よく使う項目をまとめておきます。hostrobots.txtが置かれているサイトのホストです。sitemapsitemap.xmlの場所を記述してクロールを促します。policyクロールを制御する細かい設定を書くことができます。このページを見ればなんとなく書き方がつかめるかと思います。だいたい使うのは以下の3つじゃないでしょうか。userAgent検索サイトのクローラです。Googlebotなどを書きます。全てのクローラに対して設定したい場合は*を書きます。allowクロールするページを書きます。全てのページをクロールする場合は/と書きます。disallowクロールさせないページを書きます。全てのページをクロールさせない場合は/と書きます。kwst.site.。