Crawl-Budget: Definition, Funktionsweise und gezielte Optimierung

Was ist das Crawl-Budget?

Crawl-Budget bezeichnet die Anzahl an Seiten, die der Googlebot innerhalb eines bestimmten Zeitraums auf Ihrer Website besucht und analysiert. Jede Website erhält dabei ein individuelles Kontingent, das Google auf Basis mehrerer Faktoren festlegt. Für kleine Websites mit wenigen Dutzend Seiten spielt das kaum eine Rolle. Wer aber Tausende von URLs verwaltet, sei es ein Onlineshop, ein Nachrichtenportal oder eine Plattform mit dynamischen Inhalten, merkt schnell, dass Google nicht alles crawlt, was gecrawlt werden sollte.

Neue Produkte erscheinen nicht in den Suchergebnissen, aktualisierte Inhalte werden wochenlang ignoriert, und Seiten, die längst gelöscht sind, tauchen weiterhin im Index auf. Wer wie wir als SEO Freelancer versteht, wie Google dieses Budget verteilt und verbraucht, kann gezielt eingreifen und sicherstellen, dass der Bot seine Zeit auf den Seiten verbringt, die es wirklich verdienen.

Die zwei Faktoren: Kapazität und Bedarf

Das Crawl-Budget ergibt sich aus dem Zusammenspiel zweier Größen, die Google intern berechnet und gegeneinander abwägt. Der erste Faktor ist die sogenannte Crawl-Kapazität, also die Obergrenze an Anfragen, die der Googlebot pro Sekunde an Ihren Server richten darf, ohne ihn zu überlasten. Google passt diese Grenze laufend an: Reagiert der Server schnell und stabil, darf der Bot häufiger anfragen. Schlägt der Server langsam zurück oder liefert er Fehler, reduziert Google die Rate automatisch. Wer also auf einem überlasteten Shared-Hosting-Server betreibt, bekommt schlicht weniger Crawling-Kapazität zugeteilt als jemand mit einem performanten Dedicated Server.

Der zweite Faktor ist der Crawl-Bedarf, und dieser bestimmt, wie stark Google Ihre Website überhaupt crawlen möchte. Seiten mit vielen externen Verlinkungen, hoher Autorität und häufig aktualisierten Inhalten werden häufiger besucht als unbekannte, selten verlinkte URLs. Ein Blog, der täglich neue Artikel veröffentlicht und dabei regelmäßig von anderen Websites verlinkt wird, signalisiert Google, dass ein Besuch sich lohnt. Eine statische Unternehmensseite, die seit Jahren unverändert online steht, erhält entsprechend seltener einen Besuch.

Crawl Budget vs. Index Budget

Crawl Budget und Index Budget beschreiben zwei unterschiedliche Stufen desselben Prozesses. Das Crawl Budget gibt an, wie viele Seiten Google pro Zeitraum besucht und analysiert. Das Index Budget beschreibt, wie viele dieser gecrawlten Seiten Google tatsächlich in den Suchindex aufnimmt. Eine Seite kann gecrawlt werden, ohne indexiert zu werden, etwa weil sie ein Noindex-Tag trägt, Thin Content aufweist oder als Duplikat eingestuft wird.

Merkmal	Crawl Budget	Index Budget
Definition	Anzahl der Seiten, die Google crawlt	Anzahl der gecrawlten Seiten, die Google indexiert
Beeinflusst durch	Servergeschwindigkeit, Popularität, interne Links	Inhaltsqualität, Canonical-Tags, Noindex, Duplicate Content
Sichtbar in	GSC, Crawl-Statistiken	GSC, Index-Abdeckungsbericht
Folge bei Engpass	Seiten werden nicht gecrawlt	Seiten werden gecrawlt, aber nicht gezeigt

Was passiert, wenn Sie beides verwechseln: Wer ein Indexierungsproblem wie ein Crawling-Problem behandelt, optimiert an der falschen Stelle. Sie beschleunigen den Server, bauen interne Links um und reduzieren die URL-Zahl, während das eigentliche Problem ein Noindex-Tag oder dünner Inhalt ist. Umgekehrt fügen Sie einer Seite, die schlicht nicht gecrawlt wird, ein Canonical-Tag hinzu und wundern sich, warum sie nicht erscheint. Die Diagnose muss vor der Maßnahme kommen.

Für welche Websites Crawl Budget wirklich zählt

Crawl Budget ist kein universelles Problem. Wer eine überschaubare Website mit einigen Hundert Seiten betreibt, wird selten damit kämpfen. Sobald aber die URL-Zahl in die Tausende geht, beginnt Google zu priorisieren, und das nicht immer zugunsten der Seiten, die für Sie strategisch wertvoll sind. Bestimmte Website-Typen sind dabei strukturell anfälliger als andere, weil sie durch ihre Architektur oder ihren Betrieb automatisch große Mengen an URLs erzeugen, von denen viele keinen Mehrwert für Suchende bieten.

Onlineshop

Jede Kombination aus Farbe, Größe, Preis und Marke erzeugt eine eigene URL. Aus 500 Produkten werden so schnell 50.000 URLs, die Google alle besuchen möchte. Die Folge: Der Bot verbringt seinen gesamten Besuch mit Filterseiten, während neue Produkte oder Kategorien wochenlang unentdeckt bleiben. Facettierte Navigation braucht klare Crawling-Regeln via robots.txt oder Canonical-Tags.

Nachrichtenportal

Aktualität ist das wichtigste Kapital, aber Google muss neue Artikel schnell entdecken. Wer täglich zehn neue Artikel veröffentlicht, gleichzeitig aber Tausende alter Beiträge mit geringem Website-Traffic und schwacher Verlinkung im Index hält, verdünnt das Budget. Ältere Inhalte ohne Suchvolumen gehören regelmäßig überprüft und bei Bedarf aus dem Index genommen.

SaaS-Plattform

URLs entstehen oft ohne redaktionelle Kontrolle. Jedes Nutzerprofil, jedes öffentliche Projekt, jede automatisch generierte Unterseite landet potenziell im Crawl-Pool. Wenn zehntausende davon keinen eigenständigen Inhalt bieten, leidet die Effizienz. Das Resultat: Google crawlt viel, findet wenig Substanzielles und gewichtet die gesamte Domain entsprechend niedriger.

Marktplatz

Dasselbe Produkt erscheint unter mehreren URLs, mal mit, mal ohne Tracking-Parameter, mal in verschiedenen Kategorien gleichzeitig. Jede dieser Varianten zieht Budget, ohne zusätzlichen Indexierungswert zu erzeugen. Konsequente Canonical-Tags und eine klare URL-Struktur sind hier der entscheidende Hebel.

Mehrsprachige Website

Wer eine URL in sechs Sprachen betreibt, multipliziert die URL-Zahl entsprechend. Sind Hreflang-Tags falsch gesetzt oder fehlen sie ganz, crawlt Google unter Umständen Sprachvarianten, die nicht für den intendierten Markt gedacht sind, auf Kosten der Seiten, die wirklich indexiert werden sollen.

Die 10 konkretesten Crawl-Budget Optimierungsmaßnahmen

Crawl-Budget-Optimierung ist kein einmaliges Projekt, sondern ein fortlaufendes Qualitätssicherungskonzept für die technische Seite Ihrer Website. Bevor Sie einzelne Maßnahmen angehen, lohnt sich ein Blick auf den Status quo: Wie viele URLs hat Ihre Website, wie viele davon werden gecrawlt, und wie viele landen tatsächlich im Index? Wer diese Zahlen nicht kennt, optimiert ins Blaue. Die Google Search Console liefert dafür den Ausgangspunkt, Log-Dateien liefern die Detailtiefe. Setzen Sie Maßnahmen priorisiert nach der URL-Menge und dem potenziellen Impact, statt alles gleichzeitig anzugehen.

Robots.txt gezielt einsetzen

Unkritische Bereiche vom Crawling auszuschließen ist der schnellste Hebel für große Websites. Parametrisierte URLs, interne Suchseiten, Admin-Bereiche und Staging-Umgebungen gehören in die robots.txt, sobald sie keinen Indexierungswert haben. Ein Onlineshop, der Filterkombinationen via robots.txt sperrt, kann die gecrawlte URL-Zahl um ein Vielfaches reduzieren, ohne eine einzige relevante Seite zu verlieren.

Interne Verlinkung strukturieren

Seiten, die Google crawlen soll, brauchen interne Links. Was nicht verlinkt ist, bleibt oft unentdeckt. Für einen Blog bedeutet das: Neue Artikel sollten von der Startseite, von Kategorieseiten oder von verwandten Beiträgen aus erreichbar sein. Wer auf verlinkungsarme Inhaltssilos setzt, riskiert, dass Google genau diese Seiten überspringt, weil der Bot sie nicht findet.

Duplicate Content durch Canonicals bereinigen

Jede URL, die Google als Duplikat interpretiert, verbraucht Budget, ohne Indexierungswert zu schaffen. Canonical-Tags weisen Google auf die bevorzugte Version einer Seite hin. E-Commerce-Plattformen mit Produktseiten in mehreren Kategorien sollten konsequent auf eine primäre URL canonicalisieren, sonst crawlt Google alle Varianten und indexiert keine davon zuverlässig

Schwachen Content aus dem Index nehmen

Seiten ohne Suchvolumen, ohne externe Verlinkung und ohne substanziellen Inhalt ziehen Budget, ohne Ranking-Potenzial zu haben. Ein Noindex-Tag ist hier das richtige Mittel, kein Löschen. SaaS-Plattformen mit tausenden automatisch generierten Nutzerseiten, die kaum Inhalte bieten, sollten diese gezielt mit Noindex versehen, um das Crawling auf werthaltige URLs zu konzentrieren.

Serverantwortzeiten verbessern

Google erhöht die Crawl-Rate, wenn der Server schnell und stabil antwortet. Seitengeschwindigkeit ist also kein reines Nutzererlebnis-Thema, sondern beeinflusst direkt, wie viel Google pro Tag crawlen kann. Ein News-Portal, das auf ein Content Delivery Network umstellt und TTFB-Werte unter 200ms erreicht, gibt Google das Signal, öfter vorbeizukommen.

XML-Sitemap bereinigen

In der Sitemap sollten ausschließlich URLs stehen, die gecrawlt und indexiert werden sollen. Weiterleitungen, gelöschte Seiten, Noindex-URLs und dünne Inhalte gehören nicht in die Sitemap. Wer seine Sitemap als Crawling-Steuerungsinstrument begreift, gibt Google einen klaren Fahrplan, anstatt ihn durch widersprüchliche Signale zu verwirren.

Weiterleitungsketten auflösen

Jede Weiterleitung kostet Crawling-Budget. Wer URL A auf B weiterleitet und B auf C, zwingt Google zu drei Anfragen, um eine Seite zu erreichen. Lange Redirect Chains entstehen oft durch Site-Relaunches oder URL-Umstrukturierungen ohne sauberes Redirect-Mapping. Für einen Onlineshop mit Hunderten umstrukturierten Kategorien kann das tausende unnötige Crawling-Schritte bedeuten.

URL-Parameter in der GSC konfigurieren

Wenn Tracking-Parameter, Sortieroptionen oder Sitzungs-IDs eigene URLs erzeugen, kann man Google in der Search Console mitteilen, wie diese Parameter zu behandeln sind. Das verhindert, dass Google parametrisierte URLs als eigenständige Seiten crawlt. Besonders für E-Commerce-Websites mit komplexen Filtersystemen ist das ein häufig unterschätzter Hebel.

HTTP-Statuscodes bereinigen

Seiten mit dem Statuscode 404 oder 410 werden zwar nicht indexiert, können aber trotzdem gecrawlt werden. Wer viele tote URLs im Netz hat, verschwendet Budget auf Inhalte, die es nicht mehr gibt. Regelmäßige Audits mit Tools wie Screaming Frog helfen dabei, tote Links im eigenen Linkprofil zu identifizieren und zu beheben, bevor Google sie crawlt.

Crawling-Frequenz durch Content-Aktualität steuern

Google besucht Seiten häufiger, wenn sie sich regelmäßig ändern. Wer relevante Kategorieseiten oder Pillar Pages periodisch aktualisiert, also nicht nur das Datum ändert, sondern echten Inhalt ergänzt, signalisiert Google, dass ein erneuter Besuch lohnt. Für einen Blog bedeutet das: Bestehende Evergreen-Artikel mit aktuellen Daten und neuen Abschnitten zu versehen ist crawling-technisch mindestens so wertvoll wie ein neuer Artikel.

Crawl Budget messen

Die Search Console ist das einzige Tool, das Google selbst bereitstellt, um das eigene Crawling-Verhalten transparent zu machen. Anders als externe Crawler-Tools, die das Verhalten des Googlebots nur simulieren, zeigt die Search Console, was tatsächlich stattgefunden hat: welche Seiten besucht wurden, wie der Server geantwortet hat und wo Google auf Probleme gestoßen ist. Wer ein Crawl-Budget-Problem vermutet, sollte hier beginnen, bevor er irgendeine Maßnahme ergreift. Die relevanten Daten verteilen sich dabei auf zwei Bereiche, die zusammen ein vollständiges Bild ergeben.

Schritt 01

Crawling-Statistiken aufrufen

Öffnen Sie die Search Console und navigieren Sie zu Einstellungen. Dort finden Sie den Punkt Crawling-Statistiken. Google zeigt Ihnen hier drei Kernwerte über die letzten 90 Tage: die durchschnittliche Anzahl der täglich gecrawlten Seiten, die gesamte Datenmenge, die Google dabei herunterlädt, und die durchschnittliche Antwortzeit Ihres Servers.

Schritt 02

URL-Typen analysieren

Unterhalb der Gesamtübersicht schlüsselt die Search Console auf, welche URL-Typen Google am häufigsten crawlt. Hier wird sichtbar, wo das Budget tatsächlich landet: Sind es Produktseiten und Kategorien, oder verliert Google Zeit mit Filterseiten, internen Suchergebnissen und Weiterleitungen? Diese Aufschlüsselung ist der Ausgangspunkt für jede gezielte Optimierung.

Schritt 03

Index-Abdeckungsbericht prüfen

Navigieren Sie im linken Menü zu Seiten. Der Index-Abdeckungsbericht zeigt, welche gecrawlten URLs im Index gelandet sind, welche ausgeschlossen wurden und aus welchem Grund. Die Kombination aus Crawling-Statistiken und Abdeckungsbericht zeigt, ob Sie ein Crawling-Problem haben oder ein Indexierungsproblem.

Schritt 04

Rote Flaggen erkennen

Diese Werte sollten Sie aufhorchen lassen:

Die tägliche Crawl-Rate bricht plötzlich stark ein: Server-Probleme oder eine verschärfte Crawl-Rate-Beschränkung sind die häufigste Ursache.
Serverantwortzeiten liegen über 500ms: Google drosselt die Crawling-Frequenz, sobald der Server zu langsam reagiert.
Gecrawlte Seiten übersteigen indexierte Seiten deutlich, etwa 10.000 gegen 3.000: Das weist auf Duplicate Content, dünne Inhalte oder fehlerhafte Canonical-Tags hin.
Neue Seiten brauchen länger als sieben Tage, um im Index zu erscheinen, obwohl sie in der Sitemap stehen und intern verlinkt sind: Das Budget reicht nicht aus oder wird falsch verteilt.

Die häufigsten Fehler beim Crawl-Budget

Viele Crawl-Budget-Probleme entstehen nicht durch fehlende Kenntnis der Konzepte, sondern durch gut gemeinte Maßnahmen, die in die falsche Richtung zielen. Wer ein zu großes Crawling-Problem sieht und sofort die Sitemap aufbläht, verschlimmert die Situation. Wer ein Indexierungsproblem mit Crawling-Maßnahmen bekämpft, verschwendet Zeit. Und wer robots.txt ohne genaue Kenntnis der eigenen URL-Struktur anpasst, riskiert, dass Google plötzlich Seiten nicht mehr crawlt, die im Index bleiben sollten. Die häufigsten Fehler folgen einem Muster: zu schnell, zu unspezifisch, ohne Diagnose.

Noindex und robots.txt werden verwechselt

Eine via robots.txt gesperrte Seite verschwindet nicht aus dem Index. Google kann sie trotzdem gelistet halten, wenn externe Links auf sie verweisen, weil der Bot die Seite zwar nicht besuchen darf, aber ihre Existenz durch Verlinkungen kennt.

Lösung: Wer eine Seite aus dem Index nehmen möchte, braucht ein Noindex-Tag auf der Seite selbst. robots.txt und Noindex lösen zwei verschiedene Probleme und dürfen nicht gegeneinander ausgetauscht werden.

Weiterleitungen stehen in der Sitemap

Umgeleitete URLs in der XML-Sitemap senden widersprüchliche Signale. Google erwartet in der Sitemap ausschließlich aktive, direkt erreichbare URLs. Wer nach einem SEO Relaunch vergisst, die Sitemap zu bereinigen, schickt den Bot auf URLs, die ihn sofort wieder weiterleiten, und verschwendet dabei Budget.

Lösung: Nach jedem Relaunch oder jeder URL-Änderung gehört die Sitemap auf veraltete Einträge geprüft. Nur URLs, die mit Statuscode 200 antworten und indexiert werden sollen, haben dort einen Platz.

Crawl-Budget bei kleinen Websites wird überbewertet

Für Websites unter 1.000 Seiten mit akzeptabler Servergeschwindigkeit ist Crawl Budget kein limitierender Faktor. Google crawlt solche Websites in der Regel vollständig, egal wie die interne Verlinkung oder die Sitemap aufgebaut ist.

Lösung: Wer eine kleine Website betreibt und Crawling-Probleme vermutet, sollte zuerst prüfen, ob das Problem nicht in der Inhaltsqualität oder im Linkaufbau liegt. Crawl-Budget-Optimierung lohnt sich erst ab einer URL-Zahl, bei der Google tatsächlich priorisieren muss.

Fehlende Diagnose vor der Maßnahme

Viele greifen zur erstbesten Lösung, ohne vorher zu prüfen, ob tatsächlich ein Crawling-Problem vorliegt. Wer Servergeschwindigkeit optimiert, obwohl das eigentliche Problem dünner Inhalt ist, verliert Zeit. Wer Canonical-Tags setzt, obwohl Seiten schlicht nicht gecrawlt werden, löst nichts.

Lösung: Die Search Console liefert in den meisten Fällen genug Information, um zwischen Crawling-Problem und Indexierungsproblem zu unterscheiden. Crawling-Statistiken und Index-Abdeckungsbericht sollten immer der erste Schritt sein, bevor irgendeine technische Maßnahme greift.

Tiefer als die GSC: Wann eine Log-File-Analyse Sinn ergibt

Die Search Console zeigt, was Google indexiert und welche Fehler dabei auftreten. Was sie nicht zeigt: wie der Googlebot sich tatsächlich durch Ihre Website bewegt, welche URLs er wie oft besucht, in welcher Reihenfolge er vorgeht und wo er Zeit verliert. Genau das protokollieren Server-Log-Dateien. Jede Anfrage, die ein Bot oder ein Mensch an Ihren Server stellt, hinterlässt dort einen Eintrag mit Zeitstempel, aufgerufener URL, Statuscode und User-Agent.

Wer diese Daten auswertet, sieht das Crawling-Verhalten von Google so, wie es wirklich stattfindet, ohne die Vereinfachungen der Search Console.Das lohnt sich konkret in drei Situationen:

bei Websites ab etwa 10.000 URLs, bei denen die GSC-Daten auf ein Problem hinweisen, dessen Ursache sich nicht klar ableiten lässt
nach einem Relaunch, bei dem sich URL-Strukturen verändert haben und sichergestellt werden muss, dass Google die neuen Pfade korrekt crawlt
wenn neue Inhalte trotz korrekter Sitemap und interner Verlinkung wochenlang unentdeckt bleiben

Eine Log-File-Analyse ist kein Projekt für Einsteiger. Die Rohdaten bestehen aus Millionen von Zeilen, die sich ohne das richtige Werkzeug kaum sinnvoll auswerten lassen. Tools wie Screaming Frog Log File Analyser, Botify oder SEOlyze bereiten die Daten auf und machen Muster sichtbar. Die Interpretation dieser Muster setzt aber Erfahrung voraus, die wir als SEO Berater mitbringen. Wer die Analyse extern in Auftrag gibt, sollte konkrete Fragen mitbringen: Welche URL-Gruppen crawlt Google zu häufig? Wo verliert der Bot Zeit auf Fehlerseiten? Werden neue Inhalte innerhalb weniger Tage entdeckt? Ohne klare Fragestellung liefert auch die sorgfältigste Auswertung keinen verwertbaren Handlungsrahmen.

Was macht einen guten SEO Freelancer aus

monatliche Monitoring Checklist

Crawling-Statistiken in der GSC öffnen: Trendveränderungen bei der täglichen Crawl-Rate erkennen
Index-Abdeckungsbericht prüfen: Verhältnis zwischen gecrawlten und indexierten Seiten kontrollieren
Fehlerhafte URLs identifizieren: 404 Fehler im Crawling-Bericht auswerten
Sitemap auf veraltete URLs prüfen: Weiterleitungen und gelöschte Seiten entfernen
Neue URL-Quellen überprüfen: Wurden durch neue Filter, Parameter oder Bereiche viele neue URLs erzeugt?
Servergeschwindigkeit messen: TTFB und Ladezeiten auf Regression prüfen
Interne Verlinkung auf neue Inhalte kontrollieren: Sind neue Seiten über mindestens zwei Klicktiefen erreichbar?
Canonical-Tags auf geänderten Seiten validieren: Stimmen Canonical-Ziele noch mit der aktuellen URL-Struktur überein?

FAQs zum Crawl-Budget

Wie hoch sollte das Crawl Budget sein?

Beeinflusst Crawl Budget das Ranking direkt?

Wie lange dauert es, bis Optimierungen wirken?

Kann ich Google bitten, meine Website öfter zu crawlen?

Philipp Nessmann

Seit über 20 Jahren im SEO aktiv – mit technischem Tiefgang, Unternehmergeist und dem Blick fürs Wesentliche. Ich habe über 1100 Kunden betreut und erfolgreiche Firmen wie Contentbär, Jurawelt und trauringspezialisten.de aufgebaut.

Wir bewegen uns genau am digitalen Zeitgeist – und sorgen dafür, dass unsere Kunden nicht nur bei Google, sondern auch in KI-Systemen wie ChatGPT, Gemini & Co. ganz oben auftauchen.

Referenzen

Contentbär Blog