未分類ツイート検索ロボット(クローラー)にクロールされないようにすると検索エンジンの検索結果に該当のページが表示されなくなります。クロールさせない方法として、HTMLのmetaタグに記載する方法とrobots.txtで設定する方法があります。以下の内容が、metaタグに指定できます。指定は、大文字で指定します。NOINDEX:検索エンジンにクロールささせずに、検索結果に表示させないようにします。NOFOLLOW:ページ内に存在するリンク先をクロールさせないようにします。実際にHTMLに記載する例です。WEBサイトを公開しているディレクトリに設置します。WEBサイト全体の巡回を許可する場合は、以下のように記述します。*Disallow:WEBサイト全体の巡回を拒否する場合は、以下のように記述します。/特定のディレクトリのみ拒否する場合は、以下のように記載します。/config/検索ロボットを指定して、サイト全体を拒否設定する場合は以下のように記述します。以下では、グーグルの検索ロボットを拒否しています。「負けるが勝ち」でもいつかは六本木ヒルズ。