http://20kaido.com/に移転しました。お問い合わせ★新URL:http://20kaido.com/★新RSS:http://20kaido.com/index.rdfいままでFC2ブログで5年間、お世話になりました。Checker」はサイトの「Robots.txt」を確認できるサイトです。「Robots.txt」は検索エンジンやらにサイトをクロールさせるかどうかを制御できるファイルです。Robots.txtを設置したときの確認などに利用してみましょう。以下に使ってみた様子を載せておきます。Checker」にアクセスします。URL」にチェックしたいサイトのURLを入れます。「サイトURL+robots.txt」が自動抽出されます。他のディレクトリにRobots.txtを設置している場合はそれを指定すればOK。正常に取得できました。検索エンジンをはじいていないのでこのような結果に。サイトによっては、このように検索エンジンによってクロールを禁止しているところも。これらの設定はRobots.txtを書き換えるとOKです。なんか最近検索エンジンにクロールされないなと思ったときはまずチェックですね。Chrome完全活用術という雑誌の寄稿をしました。(詳細記事はこちら)このブログについてブログ名:二十歳街道まっしぐら管理人:カメきち当ブログでは、管理人が見つけたウェブサイト・ツールの紹介を行っております。ご意見・ご感想につきましては、メールやお問い合わせフォームで受け付けております。┣アルファルファモザイク┣ゆめみがちサロン┣にくろぐ。2005.11.15-。