Crawler
Programme automatisé chargé, pour un moteur de recherche, de parcourir le web de lien en lien afin de télécharger le contenu des pages rencontrées et de le transmettre à l'index. Googlebot, Bingbot et Yandexbot en sont des exemples, respectivement pour Google, Bing et Yandex. Synonyme : robot d'exploration, spider.


