Qu'est-ce qu'un robot d'exploration ?
Un robot d'exploration, ou robot d'exploration Web, est un robot utilisé pour collecter des informations sur une page Web. Ils sont souvent utilisés par les moteurs de recherche.
Le processus de visite d’une page Web pour récupérer son contenu est appelé exploration. Une fois explorée, la page Web peut être ajoutée à l'index du moteur de recherche et affichée dans les résultats de recherche.
Le terme robot d’exploration est souvent utilisé pour désigner les robots des moteurs de recherche. Les robots d'exploration utilisés par des systèmes autres que les moteurs de recherche sont appelés web scrapers.