Robots.txt
Fichier texte placé à la racine d'un site, indiquant aux robots des moteurs de recherche les parties du site qu'ils sont autorisés ou non à explorer, via les directives Allow et Disallow. Évite notamment l'exploration inutile de pages d'administration, de doublons ou de ressources sans intérêt pour le référencement.


