{"partition": "head_middle", "source_domain": "robots-txt.com", "digest": "sha1:6FK5ZWHA3QVR2QRKZ4AAHM4RG53TOWFU", "path": "/lustre/fsn1/projects/rech/qgz/uzq54wg/processed_redpajama/base_processing/output/fr/2014-15/000_00011.parquet"}
Meta robots
X-Robots-Tag
Humans.txt
Accueil » Ressources » Robots.txt pour WordPress Robots.txt pour WordPress
Nativement, WordPress ne génère pas de fichier robots.txt mais il est néanmoins intéressant de bloquer certains répertoires aux moteurs de recherche :
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Allow: /wp-content/uploads/
Ces 4 lignes auront pour effet d'interdire l'exploration des fichiers coeur de WordPress (admin et includes), des plugins et thèmes contenus dans le répertoire wp-content tout en autorisant l'exploration des contenus multimédias (répertoire /uploads/).
A noter que pour les robots d'exploration supportant les wilcards, le robots.txt peut être simplifié de cette manière :
Disallow: /wp-*
Si vous souhaitez spécifier des instructions et des paramètres supplémentaires dans le fichier robots.txt, vous pouvez consulter le manuel d'implémentation du fichier robots.txt Robots.txtRessources