禁止爬取ab文件夹下面的adc.html文件。mahaixiang目录下面的目录。mahaixiang的整个目录。仅允许访问以".htm"为后缀的URL。允许抓取网页和gif格式图片。的网址和seo目录下的.htm文章。同时,对etao完全屏蔽。robots是一个协议,而不是一个命令。请勿建立robots.txt文件。User-agent行指定的y个爬虫屏蔽z个网址。这里x>=0,y>0,z>0。:google网页搜索爬虫的User-agent为Googlebot,下面这行就指定google的爬虫。?这就是sitemap。