Was ist Crawl-Budget?

Das sogenannte Crawl-Budget ist das Kontingent welches einem Crawler zur Verfügung steht, wenn er eine Webseite durchsucht. Ist das Crawl-Budget aufgebraucht, wird der Vorgang abgebrochen und der Crawler zieht zur nächsten Webseite weiter. Dieses Crawl-Budget kann optimiert werden.