Cos'è un crawler?
Un crawler, o web crawler, è un bot utilizzato per raccogliere informazioni su una pagina web. Sono spesso utilizzati dai motori di ricerca.
Il processo di visita di una pagina Web per recuperarne il contenuto è chiamato scansione. Una volta scansionata, la pagina web può essere aggiunta all'indice del motore di ricerca e visualizzata nei risultati di ricerca.
Il termine crawler viene spesso utilizzato per i crawler dei motori di ricerca. I crawler utilizzati da sistemi diversi dai motori di ricerca sono chiamati web scraper.