Den Crawler von Suchmaschinen steht nur wenig Zeit, beziehungsweise ein begrenztes Crawl-Budget zu, um Webseiten zu durchleuchten, da sie unzählige Webseiten binnen kürzester Zeit abarbeiten müssen. Ist das Crawl-Budget aufgebraucht, so beendet ein Crawler seine Arbeit auf einer Webseite und fängt bei der nächsten an.

Wie wichtig ist das Crawl-Budget?

Da jeder Webseitenbetreiber darauf Wert legen sollte, dass alle Dokumente seiner eigenen Webseite gecrawlt und indexiert werden, muss darauf geachtet werden, dass das Crawl-Budget optimal genutzt wird. Werden nicht alle Dokumente einer Webseite gecrawlt und indexiert, werden möglicherweise wichtige Rankingfaktoren nicht mit einbezogen und das Ranking der gesamten Webseite leidet unter den Folgen von dem frühzeitig verbrauchtem Crawl-Budget.

Wie verwendet man das Crawl-Budget richtig?

Die Arbeit der Crawler von Suchmaschinen kann man mit dem Verhalten und den Wünschen eines regulären Nutzers vergleichen. Je einfacher die Struktur einer Webseite ist, desto einfacher lässt sie sich bedienen. Dementsprechend gilt es, eine übersichtliche, gut strukturierte Webseite zu schaffen, die praktisch barrierefrei bedienbar ist. Eine gute Usability heißt folglich meisten auch, das ein Crawler seine Arbeit effektiv verrichten kann.

Die Crawl-Budget-Optimierung

Um das Crawl-Budget optimal nutzen zu können, gilt es einige Dinge zu beachten. Da die Algorithmen von Suchmaschinen sich stetig verändern und diese aktualisiert werden, sollte die eigene Webseite immer wieder an die aktuelle Lage angepasst werden, damit Crawler auch zukünftig keine Probleme damit haben werden, die Webseite zu crawlen.

Folgende Maßnahmen dienen dazu, das Crawl-Budget optimal nutzen zu können:

• Sitemap:
  Um einem Crawler seine Arbeit zu erleichtern, sollte unbedingt eine Sitemap angelegt werden. Diese Sitemap ist für den Nutzer meist ohne Bedeutung, dient den Crawlern allerdings dazu, sich auf einer Webseite zurecht zu finden.
• robots.txt:
  Mit der Hilfe der robots.txt lassen sich bestimmte Sektionen einer Webseite zum Beispiel vom Crawl-Prozess ausschließen, wodurch verhindert wird, das der Crawler seine Zeit mit unwichtigen Dokumenten verschwendet. Folglich lässt sich ein Crawler mit der robots.txt teilweise steuern.
• Interne Links:
  Auch mit Internen Links lässt sich ein Crawler bedingt steuern, da Crawler Internen Links auf einer Webseite folgen und so die Webseite durchforsten. Wird nun eine ordentliche Linkstruktur aufgebaut, sodass der Crawler voranging den wichtigsten Elementen der Webseite folgt, kann sichergestellt werden, dass das Crawl-Budget hierfür aufgewendet wird. Dies ist gerade bei großen Webseiten mit viel Inhalt von Bedeutung.
• Tracking des Crawlers:
  Um zu verstehen, wie ein Crawler die eigene Webseite durchsucht ist es wichtig zu wissen, wie er auf der Webseite arbeitet. Untersucht man die Vorgehensweise des Crawlers, kann die Struktur der Webseite darauf angepasst werden, um das Crawl-Budget so zu optimieren.