Titelbild: KI-generiert
Das Wichtigste in Kürze |
|---|
✓ Das Crawl Budget ist die Menge an Adressen, die Google auf einer Website crawlen kann und will. Es ergibt sich aus der Belastbarkeit des Servers und dem Interesse, das Google an den Inhalten hat. |
✓ Relevant ist es laut Google für sehr große, häufig aktualisierte Websites. Für die meisten Unternehmenswebsites genügen eine aktuelle Sitemap und ein regelmäßiger Blick in den Bericht zur Seitenindexierung. |
✓ Ein Rankingsignal ist Crawling nicht, schrieb Google 2017. Eine noindex-Angabe spart kein Budget, und frei gewordenes Budget verteilt Google nur um, wenn die Website ihr Limit bereits erreicht. |
✓ Verschwendet wird Budget vor allem durch Filter- und Parameteradressen, Duplikate, Soft-404-Seiten und lange Weiterleitungsketten. Bei großen Websites lohnt eine Diagnose, bei kleinen meist nicht. |
In einem Angebot für Ihre Website steht, Google verschwende dort Crawl Budget. Empfohlen werden ein Umbau der Archive, das Löschen alter Beiträge und neue Sperren in der robots.txt. Ihre Website hat einige Hundert Seiten, und nur wenige davon ändern sich regelmäßig. Für Websites wie diese ist das Crawl Budget laut Google kein Thema.
Bei großen Websites mit vielen Seiten, die sich schnell ändern, sieht das anders aus. Wir erklären, was Google unter dem Crawl Budget versteht, für welche Websites es relevant ist, woran Sie einen Engpass erkennen, was Budget verschwendet und welche Irrtümer sich halten. Stand: 8. Oktober 2026.
Was ist das Crawl Budget?
Die Menge an Adressen, die Google auf einer Website crawlen kann und crawlen will. Weil das Web nahezu unendlich groß ist, begrenzt Google die Zeit und die Ressourcen, die es einer einzelnen Website widmet. Im Deutschen spricht Google vom Crawling-Budget, die zugehörige Seite heißt inzwischen „Crawling-Budget optimieren“ (Quelle: Google Search Central, 2026).
Website heißt dabei Hostname. Für Google sind www.example.com und code.example.com zwei getrennte Websites mit getrennten Budgets (Quelle: Google Search Central, 2026). Zwei Größen bestimmen das Budget:
Größe | Was sie beschreibt | Was sie verändert |
|---|---|---|
Crawl-Kapazitätslimit | Wie viel Google crawlen kann, ohne den Server zu überlasten | Steigt bei stabilen, schnellen Antworten. Sinkt, wenn der Server langsamer wird, Fehler der 500er-Gruppe liefert oder mit dem Statuscode 429 bremst. |
Crawl-Bedarf | Wie viel Google crawlen will | Hängt von Größe, Aktualisierungshäufigkeit, Seitenqualität und Relevanz im Vergleich zu anderen Websites ab. Ein Umzug erhöht ihn vorübergehend. |
Ist der Bedarf gering, crawlt Google weniger, selbst wenn der Server mehr verkraften würde. Jede Website startet mit demselben vorsichtigen Kapazitätslimit, und nicht jede gecrawlte Seite wird indexiert. Das Limit teilen sich alle Crawler von Google, hoher Bedarf eines Crawlers kann also die Kapazität für andere verringern (Quelle: Google Search Central, 2026).
Für welche Websites ist das Crawl Budget relevant?
Für sehr große und häufig aktualisierte Websites. Google nennt als grobe Orientierung Websites mit mehr als 1 Million Seiten, deren Inhalte sich etwa wöchentlich ändern, und Websites mit mehr als 10.000 Seiten, die sich täglich ändern. Feste Schwellen seien das ausdrücklich nicht (Quelle: Google Search Central, 2026).
Als weitere Zielgruppe nennt Google Websites, bei denen ein großer Teil aller Adressen in der Search Console als „gefunden, zurzeit nicht indexiert“ eingestuft ist. Für alle anderen genügt laut Google wenig: Wer nicht viele Seiten hat, die sich schnell ändern, oder wessen Seiten offenbar noch am Tag der Veröffentlichung gecrawlt werden, braucht den Leitfaden nicht. Dann reiche es, die Sitemap aktuell zu halten und regelmäßig den Bericht zur Seitenindexierung zu prüfen (Quelle: Google Search Central, 2026).
Website | Ist das Crawl Budget ein Thema? |
|---|---|
Nicht viele Seiten, die sich schnell ändern, oder neue Seiten werden noch am Tag der Veröffentlichung gecrawlt | Nein. Laut Google genügen eine aktuelle Sitemap und ein regelmäßiger Blick in die Seitenindexierung. |
Mehr als 10.000 Seiten mit täglichen Änderungen, etwa Portale, Jobbörsen oder Nachrichtenseiten | Ja, als grobe Orientierung laut Google |
Mehr als 1 Million Seiten mit wöchentlichen Änderungen | Ja, als grobe Orientierung laut Google |
Ein großer Teil der Adressen steht auf „gefunden, zurzeit nicht indexiert“ | Ja, Google nennt diese Websites als eigene Zielgruppe |
Zwei weitere Aussagen von Google passen dazu. 2017 schrieb Google, Websites mit weniger als einigen Tausend Adressen würden meistens effizient gecrawlt (Quelle: Google Search Central Blog, 2017). Und den Bericht „Crawling-Statistik“ brauchen Websites mit weniger als 1.000 Seiten laut Google gar nicht (Quelle: Google Search-Console-Hilfe, 2026).
Für die meisten Unternehmenswebsites spielt das Crawl Budget deshalb keine Rolle. Fehlen dort Seiten im Index, liegt die Ursache aus unserer Sicht meist woanders, etwa bei der Qualität der Seiten, bei Sperren oder bei fehlenden internen Links.
Was sehr große Websites darüber hinaus anders brauchen, beschreibt unser Beitrag Enterprise SEO.
Woran erkennen Sie, dass das Crawl Budget knapp ist?
Daran, dass Google viele bekannte Adressen nicht abruft und neue oder geänderte Seiten auffällig spät crawlt. Die Search Console liefert dafür mehrere Hinweise:
Viele Adressen auf „gefunden, zurzeit nicht indexiert“. Google kennt diese Seiten, hat sie aber nicht gecrawlt. Meist wollte Google crawlen, erwartete aber eine Überlastung der Website und hat das Crawling verschoben. Das Datum des letzten Crawlings bleibt deshalb leer (Quelle: Google Search-Console-Hilfe, 2026).
Probleme im Hoststatus. Der Bericht „Crawling-Statistik“ zeigt Anfragen, Antwortzeiten, Statuscodes und den Hoststatus. Als erhebliches Problem gilt dort zum Beispiel, wenn an einem Tag mehr als 5 % der Anfragen an der DNS-Auflösung scheitern (Quelle: Google Search-Console-Hilfe, 2026).
Die robots.txt antwortet nicht sauber. Liefert die Datei weder einen gültigen Inhalt noch den Statuscode 404, verlangsamt oder stoppt Google das Crawling, bis eine brauchbare Antwort kommt (Quelle: Google Search-Console-Hilfe, 2026).
„Hostlast überschritten“ in der URL-Prüfung. Dann kann Google die Seite wegen der Serverkapazität nicht crawlen (Quelle: Google Search Central, 2026).
Langsame Antworten und Serverfehler. Steigt die Antwortzeit oder häufen sich Fehler der 500er-Gruppe, senkt Google sein Kapazitätslimit (Quelle: Google Search Central, 2026).
Nicht jede Indexierungsmeldung ist ein Budgetproblem. Steht eine Seite auf „gecrawlt, zurzeit nicht indexiert“, hat Google sie abgerufen und sich gegen die Aufnahme entschieden. Das ist eine Frage der Indexierung, nicht des Crawlings. Was dahintersteckt, beschreibt unser Beitrag zu „gecrawlt, zurzeit nicht indexiert“.
Bei großen Websites ziehen wir für die Diagnose neben der Search Console auch Server-Logdateien heran, falls vorhanden. Sie zeigen, welche Bereiche der Googlebot tatsächlich besucht und wie oft. Für die Search Console genügt uns Lesezugriff.
Welchen Grund Google selbst für diesen Status nennt und wann er harmlos ist, beschreibt unser Beitrag Gefunden, zurzeit nicht indexiert.
Was verschwendet Crawl Budget?
Vor allem viele Adressen ohne eigenen Wert, die Google trotzdem abruft. Den Faktor, den Websitebetreiber am stärksten steuern können, sieht Google im wahrgenommenen Bestand an Adressen: Sind viele davon Duplikate oder unwichtig, kostet das viel Crawling-Zeit (Quelle: Google Search Central, 2026).
2017 hat Google die Ursachen nach ihrer Bedeutung geordnet (Quelle: Google Search Central Blog, 2017):
Facettierte Navigation und Session-IDs in Adressen
Doppelte Inhalte auf der eigenen Website
Fehlerseiten, die sich als Erfolg melden (Soft Errors)
Gehackte Seiten
Unendliche Adressräume und Proxys
Minderwertige Inhalte und Spam
Filter können besonders viele Adressen erzeugen. Werden Filter über URL-Parameter umgesetzt, können laut Google unendlich viele Adressen entstehen. Die Folgen sind übermäßiges Crawling und eine langsamere Erkennung neuer Seiten (Quelle: Google Search Central, 2025). Das betrifft Onlineshops, aber ebenso Verzeichnisse, Jobbörsen und Archive mit Veranstaltungen oder Artikeln. Wie Google den Umgang mit Filterseiten beschreibt, steht in unserem Beitrag SEO für Onlineshops.
Auch Fehlerseiten und Umwege kosten. Soft-404-Seiten werden laut Google weiter gecrawlt und verschwenden Budget, lange Weiterleitungsketten wirken sich negativ auf das Crawling aus (Quelle: Google Search Central, 2026). Was hinter der Meldung steckt, erklärt unser Beitrag zum Soft 404. Alternative Adressen wie AMP- oder hreflang-Versionen und eingebettete Dateien wie CSS und JavaScript zählen nach Googles Darstellung von 2017 ebenfalls mit (Quelle: Google Search Central Blog, 2017).
Eine Sitemap lenkt, garantiert aber nichts. Für große Websites empfiehlt Google aktuelle Sitemaps mit verlässlichem Änderungsdatum (Quelle: Google Search Central, 2026). Eine Sitemap hilft beim Finden, garantiert aber weder Crawling noch Indexierung (Quelle: Google Search Central, 2025). Meldet die Search Console, dass die Datei nicht abgerufen werden konnte, nennt Google unter den möglichen Gründen auch einen geringen Crawling-Bedarf, der mit der Qualität der Inhalte steigt. Mehr dazu unter Sitemap konnte nicht gelesen werden.
Wann doppelte Inhalte darüber hinaus schaden, beschreibt unser Beitrag Duplicate Content.
Welche Irrtümer halten sich zum Crawl Budget?
Vor allem drei: Es sei ein Rankingfaktor, noindex spare Budget, und Löschen mache Platz für wichtigere Seiten. Die Tabelle stellt diese und zwei weitere Annahmen den Aussagen von Google gegenüber:
Annahme | Was Google dazu sagt |
|---|---|
Mehr Crawling bringt bessere Rankings | Mehr Crawling führt nicht unbedingt zu besseren Positionen. Crawling ist Voraussetzung, aber kein Rankingsignal. So schrieb es Google 2017, in der aktuellen Dokumentation steht der Satz nicht, widerrufen wurde er aber auch nicht. |
noindex spart Crawl Budget | Nein. Google ruft die Seite trotzdem ab und verwirft sie erst, wenn es die noindex-Angabe sieht. Das kostet Crawling-Zeit. |
Gelöschte Seiten machen Budget für andere frei | Frei gewordenes Budget verschiebt Google nur dann auf andere Seiten, wenn die Website ihr Kapazitätslimit bereits erreicht. |
Mit der robots.txt lässt sich Budget gezielt umverteilen | Google rät davon ab, die robots.txt zum vorübergehenden Umverteilen zu nutzen. Gesperrte Adressen bleiben zudem deutlich länger in der Crawling-Warteschlange. |
Gegen Bezahlung crawlt Google häufiger | Google nimmt kein Geld, um eine Website häufiger zu crawlen oder höher zu ranken. |
Quellen der Tabelle: Google Search Central Blog, 2017 zum Rankingsignal, Google Search Central, 2026 zu noindex, frei gewordenem Budget und robots.txt, Google Search Central, 2025 zur Bezahlung.
Mehr Budget gibt es laut Google auf zwei Wegen. Entweder mit mehr Serverkapazität, wenn Google eine Website wegen ihrer Serverlast nicht crawlen kann, oder mit besseren Inhalten. Für die Suche zählt Google dazu Beliebtheit, Nutzen für die Besucher, Einzigartigkeit der Inhalte und die Kapazität, sie auszuliefern (Quelle: Google Search Central, 2026).
Eine Sperre in der robots.txt ist kein Ausschluss aus dem Index. Sie verhindert das Crawling, aber nicht sicher die Indexierung. Laut Google besteht eine sehr geringe Wahrscheinlichkeit, dass eine gesperrte Seite trotzdem indexiert wird (Quelle: Google Search-Console-Hilfe, 2026).
Was hat das Crawl Budget mit KI-Crawlern zu tun?
Ihr Server bedient nicht nur den Googlebot, und jede zusätzliche Last kann das Crawling bremsen. Google senkt sein Kapazitätslimit, wenn eine Website langsamer antwortet oder Serverfehler liefert (Quelle: Google Search Central, 2026).
Wie groß der Anteil anderer Crawler sein kann, zeigt eine Auswertung des Hosting-Anbieters Vercel mit der Beratung MERJ. In Vercels Netzwerk stellte GPTBot von OpenAI in einem Monat 569 Millionen Anfragen, der Crawler von Anthropic 370 Millionen. Zusammen entsprach das rund 20 % der 4,5 Milliarden Anfragen des Googlebots. Der Crawler von ChatGPT landete bei 34,82 % seiner Abrufe auf 404-Seiten, der Googlebot bei 8,22 % (Quelle: Vercel, 2024).
Die Zahlen gelten nur für Vercels Netzwerk, nicht für das ganze Web, und stammen vom Dezember 2024. Sie zeigen aber, dass KI-Crawler einen spürbaren Teil der Last ausmachen und viele Adressen abrufen können, die es nicht mehr gibt.
Bei großen Websites gehört der Blick auf alle Bots deshalb zur Diagnose. Server-Logdateien zeigen, welche Crawler welche Bereiche wie oft abrufen. Ob Sie einzelne KI-Crawler zulassen oder sperren, ist eine Abwägung zwischen Serverlast und Sichtbarkeit in KI-Antworten. Welche KI-Crawler es gibt und wofür sie stehen, zeigt unsere Übersicht der KI-Crawler.
FAQ: Crawl Budget
Ab wie vielen Seiten wird das Crawl Budget relevant? Google nennt als grobe Orientierung mehr als 1 Million Seiten mit wöchentlichen oder mehr als 10.000 Seiten mit täglichen Änderungen. Feste Schwellen sind das ausdrücklich nicht. Werden Ihre neuen Seiten noch am Tag der Veröffentlichung gecrawlt, müssen Sie sich laut Google nicht damit befassen.
Ist das Crawl Budget ein Rankingfaktor? Nein. Google schrieb 2017, mehr Crawling führe nicht unbedingt zu besseren Positionen. Crawling sei Voraussetzung für die Suchergebnisse, aber kein Rankingsignal.
Spart noindex Crawl Budget? Nein. Google ruft Seiten mit noindex trotzdem ab und verwirft sie erst danach. Für Seiten, die dauerhaft entfernt sind, nennt Google den Statuscode 404 oder 410 als starkes Signal, sie nicht erneut zu crawlen.
Wie lässt sich das Crawl Budget erhöhen? Laut Google auf zwei Wegen: mit mehr Serverkapazität, wenn der Server der Engpass ist, oder mit besseren Inhalten. Eine bezahlte Abkürzung gibt es nicht, Google nimmt dafür kein Geld.
Sollten wir alte Seiten löschen, um Crawl Budget zu sparen? Für das Crawling bringt das aus unserer Sicht wenig, solange Ihre Website nicht zu den sehr großen gehört, für die Google das Thema vorsieht. Selbst bei großen Websites verschiebt Google frei gewordenes Budget nur, wenn das Kapazitätslimit bereits erreicht ist. Ob Löschen aus anderen Gründen sinnvoll ist, ist eine eigene Entscheidung.
Hat jede Subdomain ein eigenes Crawl Budget? Ja. Google behandelt jeden Hostnamen als eigene Website, www.example.com und code.example.com haben also getrennte Budgets.
Das Crawl Budget ist ein Thema für sehr große Websites mit vielen Seiten, die sich schnell ändern, für die meisten Unternehmenswebsites dagegen nicht. Wenn Sie wissen möchten, ob Ihre Website dazugehört oder ob hinter fehlenden Seiten etwas anderes steckt, sprechen Sie mit uns.
