Wat is een crawler?
Een crawler, of webcrawler, is een bot die wordt gebruikt om informatie over een webpagina te verzamelen. Ze worden vaak gebruikt door zoekmachines.
Het proces waarbij u een webpagina bezoekt om de inhoud ervan op te halen, wordt crawlen genoemd. Eenmaal gecrawld, kan de webpagina worden toegevoegd aan de index van de zoekmachine en worden weergegeven in de zoekresultaten.
De term crawler wordt vaak gebruikt voor crawlers van zoekmachines. Crawlers die door andere systemen dan zoekmachines worden gebruikt, worden webschrapers genoemd.