Budget de crawl
Nombre de pages qu'un moteur de recherche accepte d'explorer sur un site donné pendant une période donnée, fonction de sa popularité, de la fréquence de mise à jour de son contenu et de la réactivité du serveur.
Sur un site volumineux, un budget de crawl gaspillé sur des pages sans valeur retarde l'indexation des pages importantes. Suppression du contenu dupliqué, maillage interne clair et fichier robots.txt bien configuré permettent de le préserver.


