{"partition": "head_middle", "source_domain": "robots-txt.com", "digest": "sha1:Q4TOLM3I2Z33BIGQNE5RA4SXZMZOO6GO", "path": "/lustre/fsn1/projects/rech/qgz/uzq54wg/processed_redpajama/base_processing/output/fr/2014-15/000_00026.parquet"}
X-Robots-Tag
Humans.txt
Accueil » Ressources » Robots.txt pour Yahoo! / Yahoo! Slurp Robots.txt pour Yahoo! / Yahoo! Slurp
Yahoo! Slurp est le robot d'exploration de Yahoo!. Lors de l'exploration, le robot Slurp recherche des pages mises à jour ou nouvelles à ajouter dans l'index de Yahoo!.
Instructions pour Googlebot
Exemple de robots.txt ciblant Yahoo! pour bloquer l'exploration du dossier /personnel/. Les robots de Yahoo! acceptent deux noms différents : Yahoo! Slurp et Slurp
User-agent: Yahoo! Slurp
Disallow: /personnel/
ou (équivalent) :
User-agent: Slurp
A noter également que Yahoo! supporte la directive Allow dans le fichier robots.txt pour bloquer l'exploration d'un répertoire sauf certains fichiers ou sous-répertoires contenus dans celui-ci.
Plus d'information sur Yahoo! Slurp sur la page Webcrawler du centre d'aide de Yahoo!. Robots.txtRessources