itrobots.txtは「ロボッツ・テキスト」、または「ロボット・テキスト」と読みます。ロボット型検索エンジンに対する命令を記述するためのファイルです。ウェブサイトのトップフォルダに設置します。※全ての検索エンジンに効く訳ではありません。末尾が/で終わる場合はフォルダ名の指定となる。末尾に/を入れない場合は、指定された文字で始まるファイル名全てと指定された文字で始まるフォルダ全体の指定となる。命令文サンプル例と合わせて記述方法をご紹介します。adminとcgi-binのフォルダにアクセスしない。三行目:Disallow=アクセスを許可しない。この場合指定したフォルダにアクセスを許可しない。noフォルダにはアクセスしてはいけない、yesフォルダにアクセスしてもよい。/yes/一行目:全てのエージェント(検索ロボット)に命令する三行目:Disallow=アクセスを許可しない。この場合、noフォルダへのアクセスを許可しない。三行目:Allow=アクセスを許可する。この場合指、yesフォルダにアクセスを許可する。