2010年11月24日robots.txtでは、以下のパターン記号が使用できます。URLの末尾文字のパターンマッチ使い方は以下のとおりです。「*」記号は、任意の長さの、任意のURL文字列にマッチさせるときに使います。URL文字列のいずれの部分にも使えます。・・・3それぞれ以下のように解釈されます。例:「/public_html/」や「/public_graphs/」も巡回されます。例:「/card_print.html」や「/store_print/product.html」は巡回されません。例:「/cart.php?sessionid=342bca31」は巡回されません。以下のように書かれていた場合、2つの「Disallow」の指示は、同等とみなされます。「$」記号は、URLの末尾にある、任意の文字列をマッチさせるときに使います。「$」記号がない場合、クローラーはプリフィクス(接頭辞)として扱い、記述された文字列を含むURLがすべてマッチします。「$」記号は、文字列の末尾でのみ意味をなします。クローラーが「$」記号を見つけると、末尾であると判断し、以降の文字列を無視します。