Was ist Crawl-Budget?
Unter Crawling-Budget versteht man die maximale Anzahl an Seiten, die eine Suchmaschine innerhalb eines Zeitraums auf Ihrer Website crawlt.
Häufiges Crawlen durch Suchmaschinen-Crawler-Bots kann die Leistung Ihres Servers verringern oder sogar überlasten und dazu führen, dass Ihre Website offline geht.
Um dies zu verhindern, schätzen Suchmaschinen Ihre Serverkapazität und weisen Ihrer Website ein Crawling-Budget zu. Dies hilft ihnen beim Crawlen Ihrer Website, ohne die Leistung Ihrer Website zu beeinträchtigen.