« Back to Glossary Index
Les crawlers sont les robots des moteurs de recherche. On les appelle ainsi car ils rampent, lentement, sur les pages des différents sites web pour se nourrir de leur contenu.
En anglais, “crawl” signifie ramper, et c’est ce que font ces robots. Ils analysent les lignes de code pour en interpréter le sens. Ils lisent le contenu texte, celui visible par les utilisateurs, mais aussi la structure du code pour comprendre le sens des images, comprendre quels titres sont les plus importants, etc.
Un véritable travail de fourmi doit être fait en amont pour faciliter le travail de ces crawlers. A leur tour, ils pourraient vous récompenser généreusement, en améliorant l’indexation de vos pages web !
