Was ist ein Crawler?
Ein Crawler oder Webcrawler ist ein Bot, der zum Sammeln von Informationen über eine Webseite verwendet wird. Sie werden häufig von Suchmaschinen verwendet.
Der Vorgang, eine Webseite zu besuchen, um deren Inhalt abzurufen, wird als Crawling bezeichnet. Nach dem Crawlen kann die Webseite zum Suchmaschinenindex hinzugefügt und in den Suchergebnissen angezeigt werden.
Der Begriff Crawler wird häufig für Suchmaschinen-Crawler verwendet. Crawler, die von anderen Systemen als Suchmaschinen verwendet werden, werden Web Scraper genannt.