Viele Websites beschäftigen sich mit ihrem Crawl Budget, obwohl sie gar kein Crawl-Budget-Problem haben.
Gerade bei kleineren Unternehmenswebsites ist es meistens nicht notwendig, jede einzelne Googlebot-Anfrage zu analysieren oder technische Maßnahmen nur deshalb umzusetzen, um vermeintlich „Crawl Budget zu sparen“.
Anders sieht es bei großen Shops, Marktplätzen, Portalen und Websites mit sehr vielen dynamischen URLs aus. Dort können Filter, Parameter, Duplicate Content, Soft-404-Seiten und unnötige Weiterleitungen dazu führen, dass Google sehr viel Zeit mit URLs verbringt, die für die organische Suche kaum einen Wert haben.
Die entscheidende Frage lautet deshalb nicht:
„Wie bekomme ich mehr Crawl Budget?“
Sondern:
„Crawlt Google meine wichtigen URLs schnell und regelmäßig genug – oder verschwenden unnötige URLs Ressourcen?“
Google hat seine Dokumentation zum Crawl Budget am 22. Juli 2026 noch einmal überarbeitet und die Begriffe sowie technischen Zusammenhänge klarer beschrieben.
Dieser Ratgeber zeigt, wann das Thema wirklich relevant wird, wie Sie Ihr Crawl Budget prüfen und welche Maßnahmen Googlebot dabei helfen, sich stärker auf die wichtigen Bereiche Ihrer Website zu konzentrieren.
Was ist Crawl Budget?
Das Crawl Budget beschreibt vereinfacht die Menge an URLs, die Google auf einer Website crawlen kann und crawlen möchte.
Das Internet enthält deutlich mehr URLs, als Google jederzeit vollständig abrufen und neu verarbeiten kann. Deshalb entscheidet Google bei jeder Website, welche Seiten wann und wie häufig gecrawlt werden.
Dabei geht es nicht nur darum, wie viele URLs Ihre Website besitzt.
Auch Serverleistung, Content-Qualität, Aktualität, Popularität und die Anzahl unnötiger URLs spielen eine Rolle.
Google beschreibt das Crawl Budget als Zusammenspiel aus zwei Hauptfaktoren:
Crawl Capacity Limit und Crawl Demand.
Erst beide zusammen bestimmen, welche URLs Google tatsächlich crawlen kann und möchte.
Wichtig ist außerdem:
Crawling bedeutet nicht automatisch Indexierung.
Google kann eine Seite crawlen und sich danach trotzdem entscheiden, sie nicht in den Suchindex aufzunehmen.
Wenn Ihre Website also viele nicht indexierte URLs besitzt, ist die Lösung nicht automatisch „mehr Crawl Budget“.
Zuerst muss geklärt werden, warum diese URLs nicht indexiert werden.
Crawl Capacity und Crawl Demand: Was ist der Unterschied?
Um das Google Crawl Budget richtig zu verstehen, müssen zwei Bereiche getrennt betrachtet werden.
Crawl Capacity Limit
Das Crawl Capacity Limit beschreibt vereinfacht, wie stark Google Ihre Website technisch crawlen kann, ohne Ihren Server zu überlasten.
Wenn Ihr Server schnell und stabil reagiert, kann Google mehr parallele Anfragen durchführen.
Wird Ihre Website dagegen langsam oder liefert regelmäßig Serverfehler, reduziert Google die Crawling-Aktivität.
Das ist logisch: Google möchte Ihre Website nicht durch zu viele Anfragen zusätzlich belasten.
Für große Websites bedeutet das:
Ein langsamer Server ist nicht nur ein UX-Problem. Er kann auch beeinflussen, wie effizient Googlebot große URL-Bestände verarbeitet.
Deshalb sollten bei Crawl-Budget-Problemen unter anderem folgende Punkte geprüft werden:
Server Response Time
5xx-Fehler
DNS-Probleme
Host-Verfügbarkeit
robots.txt-Erreichbarkeit
sehr große Seiten oder Ressourcen
Diese Daten lassen sich teilweise direkt über die Crawling-Statistik in der Google Search Console kontrollieren.
Crawl Demand
Crawl Demand beschreibt dagegen, wie stark Google bestimmte URLs überhaupt crawlen möchte.
Nicht jede bekannte URL hat für Google dieselbe Priorität.
Seiten, die häufig aktualisiert werden, wichtige Inhalte enthalten oder eine hohe Bedeutung besitzen, können häufiger gecrawlt werden.
Sehr alte, schwache, doppelte oder kaum relevante Seiten werden dagegen möglicherweise seltener besucht.
Google nennt hier unter anderem drei wichtige Bereiche:
URL-Bestand, Popularität und Aktualität.
Besonders interessant ist der URL-Bestand.
Wenn Google Millionen URLs kennt, von denen ein großer Teil Duplicate Content, Filterkombinationen oder andere unwichtige Seiten sind, muss Google diese URLs trotzdem zunächst einordnen.
Genau hier entsteht bei großen Websites echtes Optimierungspotenzial.
Braucht meine Website überhaupt Crawl-Budget-Optimierung?
Das ist wahrscheinlich der wichtigste Punkt dieses gesamten Artikels.
Die meisten Websites brauchen keine spezielle Crawl-Budget-Optimierung.
Google richtet seinen eigenen erweiterten Crawl-Budget-Leitfaden vor allem an sehr große und häufig aktualisierte Websites.
Als grobe Orientierung nennt Google unter anderem Websites mit:
mehr als etwa einer Million eindeutigen URLs, deren Inhalte regelmäßig verändert werden,
mehr als ungefähr 10.000 eindeutigen URLs, wenn sich Inhalte täglich sehr stark verändern,
oder Websites mit einem hohen Anteil an URLs im Status „Gefunden – zurzeit nicht indexiert“.
Diese Zahlen sind ausdrücklich keine festen Grenzen.
Ein Shop mit 30.000 sauberen Produkt- und Kategorieseiten kann problemlos funktionieren.
Ein anderer Shop mit 30.000 eigentlichen Seiten kann dagegen technisch mehrere Millionen URL-Kombinationen erzeugen.
Der Unterschied liegt dann nicht in der sichtbaren Größe des Shops, sondern im tatsächlichen URL-Bestand, den Google entdecken kann.
Bei einer normalen Unternehmenswebsite mit beispielsweise 100 oder 500 URLs bringt es dagegen wenig, sich tagelang mit Crawl Budget zu beschäftigen.
Wenn neue Seiten zeitnah gecrawlt werden und keine größeren Indexierungsprobleme vorhanden sind, reicht meist eine saubere technische Struktur.
Für eine laufende Kontrolle reicht bei solchen Websites häufig unser Ansatz aus dem SEO Monitoring: wichtige Indexierungs-, Traffic- und technische Veränderungen beobachten und nur eingreifen, wenn echte Probleme entstehen.
Woran erkennt man ein Crawl-Budget-Problem?
Es gibt keinen einzelnen Wert in der Google Search Console, der sagt:
„Ihr Crawl Budget beträgt 15.000 URLs.“
So funktioniert das nicht.
Stattdessen müssen mehrere Signale kombiniert werden.
Ein mögliches Problem liegt vor, wenn wichtige URLs nur sehr langsam entdeckt oder erneut gecrawlt werden, während Google gleichzeitig große Mengen irrelevanter URLs anfragt.
Typische Warnsignale sind:
neue wichtige Seiten werden erst nach langer Zeit gecrawlt,
viele relevante URLs stehen auf „Gefunden – zurzeit nicht indexiert“,
Googlebot crawlt große Mengen an Filter- oder Parameter-URLs,
sehr viele Soft-404-Seiten werden abgerufen,
Crawling konzentriert sich stark auf unwichtige URL-Muster,
Serverfehler steigen,
durchschnittliche Antwortzeiten werden deutlich schlechter,
lange Redirect-Ketten verbrauchen mehrere Requests,
die Sitemap enthält veraltete oder nicht indexierbare URLs.
Bei solchen Websites lohnt sich eine tiefere Analyse.
Crawl Budget mit der Google Search Console prüfen
Der wichtigste Einstieg ist die Crawling-Statistik in der Google Search Console.
Sie finden den Bericht unter:
Einstellungen → Crawling-Statistik
Der Bericht ist besonders für größere Websites interessant.
Dort zeigt Google unter anderem:
Crawling-Anfragen insgesamt
Gesamtgröße der Downloads
durchschnittliche Antwortzeit
Hoststatus
Serverantworten
Dateitypen
Crawling-Zweck
Googlebot-Typ
Besonders wichtig ist nicht nur die absolute Zahl der Crawls.
Sie sollten schauen, was Google eigentlich crawlt.
Wenn Ihre Crawling-Anfragen steigen, weil Tausende neue wertvolle Produktseiten veröffentlicht wurden, kann das völlig positiv sein.
Wenn die Anfragen dagegen steigen, weil Google endlose Filterkombinationen entdeckt hat, sieht die Situation anders aus.
Hoststatus prüfen
Der Hoststatus sollte möglichst keine größeren Probleme zeigen.
Wenn DNS, Serververbindung oder robots.txt regelmäßig nicht erreichbar sind, kann Google seine Crawling-Aktivität reduzieren.
Eine schnelle und stabile technische Basis gehört deshalb genauso zum Crawl Budget wie die URL-Struktur selbst.
Crawl Responses analysieren
Schauen Sie sich außerdem an, welche Statuscodes Googlebot erhält.
Viele erfolgreiche 200-Antworten auf wichtige Seiten sind normal.
Große Mengen an unnötigen Redirects, Soft-404s oder Serverfehlern sollten dagegen genauer untersucht werden.
Discovery und Refresh unterscheiden
Google unterscheidet in der Crawling-Statistik außerdem zwischen neuen URLs und erneuten Crawls bereits bekannter Seiten.
So können Sie besser erkennen, ob Google neue Inhalte entdeckt oder hauptsächlich bestehende Inhalte erneut prüft.
Wenn Sie regelmäßig große Websites betreuen, gehört dieser Bericht sinnvoll in ein technisches SEO Monitoring.
Server-Logs richtig verwenden
Die Search Console zeigt gute aggregierte Daten.
Bei sehr großen Websites reichen diese Daten jedoch nicht immer aus.
Dann werden Server-Logs interessant.
Server-Logs zeigen, welche Anfragen tatsächlich auf Ihrem Server angekommen sind.
Damit lässt sich beispielsweise analysieren:
welche URLs Googlebot tatsächlich crawlt,
welche Verzeichnisse besonders häufig besucht werden,
welche Statuscodes ausgeliefert werden,
wie oft Filter-URLs gecrawlt werden,
ob Googlebot wichtige Bereiche ignoriert,
wie sich Crawling nach technischen Änderungen verändert.
Gerade bei Shops mit hunderttausenden oder Millionen möglichen URLs ist das extrem hilfreich.
Sie können zum Beispiel feststellen:
Googlebot verwendet 40 % seiner Requests auf URLs mit Sortierparametern.
Das wäre ein wesentlich klareres Problem als die allgemeine Aussage:
„Unser Crawl Budget ist zu niedrig.“
Der Fokus sollte immer auf konkreten URL-Mustern liegen.
Faceted Navigation und Filter-URLs
Eine der häufigsten Ursachen für unnötig große URL-Bestände ist die Faceted Navigation.
Das betrifft besonders Shops.
Ein Nutzer kann zum Beispiel Schuhe filtern nach:
Marke
Farbe
Größe
Material
Preis
Geschlecht
Jeder Filter allein kann sinnvoll sein.
Problematisch wird es durch die Kombinationen.
Aus einer Kategorie können technisch schnell tausende oder hunderttausende URLs entstehen:
/schuhe/?farbe=schwarz
/schuhe/?farbe=schwarz&groesse=42
/schuhe/?farbe=schwarz&groesse=42&marke=x
und immer weiter.
Für Nutzer ist die Filterfunktion hilfreich.
Für Google muss aber nicht jede theoretisch mögliche Kombination eine eigene indexierbare Seite sein.
Welche Filterseiten sollten indexierbar sein?
Filterseiten mit echtem Suchvolumen und einer klaren Suchintention können sinnvoll sein.
Zum Beispiel:
schwarze Laufschuhe Herren
kann ein eigenständiges SEO-Thema sein.
Eine Kombination aus sieben Filtern mit kaum Suchnachfrage braucht dagegen meistens keine eigene Landingpage bei Google.
Deshalb sollten Shops zuerst festlegen:
Welche Filterkombinationen sind echte SEO-Landingpages und welche existieren nur für die Nutzerführung?
Erst danach werden Canonicals, interne Links, robots.txt und Indexierungssteuerung festgelegt.
Pauschale Regeln für alle Filter funktionieren selten.
Duplicate Content und Crawl Budget
Duplicate Content bedeutet im Zusammenhang mit Crawl Budget nicht automatisch eine Google-Strafe.
Das eigentliche Problem kann darin liegen, dass Google mehrere verschiedene URLs crawlt, obwohl sie nahezu denselben Inhalt ausliefern.
Beispiele:
HTTP und HTTPS gleichzeitig erreichbar
www und non-www
Trackingparameter
Sortierungsparameter
Session-IDs
Druckversionen
identische Kategorien über verschiedene URL-Pfade
Produktvarianten mit nahezu identischem Inhalt
Google muss diese URLs zunächst entdecken, abrufen und konsolidieren.
Bei wenigen URLs spielt das kaum eine Rolle.
Bei Millionen Varianten kann daraus jedoch ein unnötig großer Crawl-Aufwand entstehen.
Deshalb sollte Duplicate Content möglichst bereits technisch reduziert werden.
Wenn mehrere Varianten notwendig sind, helfen unter anderem saubere Canonicals.
Noch besser ist es, unnötige alternative URLs gar nicht erst unbegrenzt entstehen zu lassen.
Bei einer größeren Bereinigung des bestehenden URL-Bestands kann außerdem ein Content Audit & Content Pruning sinnvoll sein.
Dort wird nicht nur technische Duplizierung betrachtet, sondern auch die Frage, ob bestehende Inhalte überhaupt noch einen eigenständigen Wert besitzen.
URL-Parameter kontrollieren
Parameter sind nicht grundsätzlich schlecht.
Viele Websites brauchen sie für Filter, Tracking, Sortierung oder Funktionen.
Problematisch werden Parameter dann, wenn sie unkontrolliert neue crawlbare URLs erzeugen.
Beispiel:
?sort=price
?sort=name
?utm_source=newsletter
?session=12345
Wenn dieselbe Seite über viele Parameter-Kombinationen erreichbar ist, wächst der URL-Bestand ohne zusätzlichen Content-Wert.
Die beste Lösung ist deshalb nicht immer eine nachträgliche Blockierung.
Prüfen Sie zuerst:
Warum entstehen diese URLs überhaupt und müssen sie von Google erreichbar sein?
Trackingparameter sollten beispielsweise keine neuen indexierbaren Seiten erzeugen.
Bei Filterparametern muss dagegen je nach SEO-Strategie entschieden werden, welche Varianten eigenständig relevant sind.
404 und Soft-404 richtig behandeln
Eine echte 404-Seite ist nicht automatisch schlecht für SEO.
Wenn eine URL dauerhaft nicht mehr existiert und es keinen sinnvollen Ersatz gibt, darf sie einen 404– oder 410-Status zurückgeben.
Problematischer sind Soft-404s.
Dabei liefert eine Seite technisch einen erfolgreichen 200-Statuscode, obwohl eigentlich kein richtiger Inhalt vorhanden ist.
Beispiele:
„Produkt nicht gefunden.“
„Diese Seite existiert nicht mehr.“
Aber der Server liefert trotzdem 200 OK.
Für Google sieht die URL technisch zunächst wie eine normale Seite aus.
Solche URLs können weiter gecrawlt werden und bei sehr großen Websites unnötige Crawling-Ressourcen verbrauchen.
Entfernte Seiten ohne Ersatz sollten deshalb einen korrekten HTTP-Status liefern.
Existiert dagegen eine sehr ähnliche und passende Ersatzseite, kann eine permanente Weiterleitung sinnvoll sein.
Redirect Chains vermeiden
Eine Weiterleitung ist an sich kein Problem.
Problematisch werden unnötig lange Ketten.
Zum Beispiel:
URL A → URL B → URL C → URL D
Google muss mehrere Anfragen durchführen, bis die eigentliche Zielseite erreicht wird.
Besser ist:
URL A → URL D
Gerade nach mehreren Relaunches sammeln sich auf großen Websites oft alte Weiterleitungsketten an.
Deshalb sollten Redirects regelmäßig geprüft und interne Links direkt auf die aktuelle Ziel-URL aktualisiert werden.
Das verbessert nicht nur das Crawling, sondern macht die technische Struktur insgesamt sauberer.
XML-Sitemap und lastmod richtig verwenden
Eine XML-Sitemap ist bei großen Websites ein sehr wichtiges Signal.
Sie hilft Google dabei, relevante URLs zu entdecken.
Die Sitemap sollte deshalb nicht als Ablage für jede technisch existierende URL genutzt werden.
Dort sollten vor allem URLs enthalten sein, die:
erreichbar sind,
indexierbar sein sollen,
canonical auf sich selbst zeigen,
einen sinnvollen SEO-Zweck besitzen.
Veraltete Weiterleitungs-URLs, 404-Seiten oder bewusst nicht indexierbare Filterseiten gehören normalerweise nicht hinein.
lastmod richtig einsetzen
Mit <lastmod> kann angegeben werden, wann sich eine URL zuletzt wesentlich verändert hat.
Das bedeutet aber nicht, dass jede URL täglich mit dem aktuellen Datum versehen werden sollte.
Wenn Google erkennt, dass das Datum regelmäßig geändert wird, obwohl der Inhalt gleich bleibt, verliert das Signal an Wert.
Setzen Sie lastmod deshalb nur dann neu, wenn sich der Seiteninhalt tatsächlich relevant verändert hat.
Bei sehr großen Shops können saubere Sitemap-Dateien zusätzlich nach Bereichen getrennt werden.
Zum Beispiel:
Kategorien
Produkte
Ratgeber
Marken
Standorte
Dadurch lassen sich Indexierung und Crawling wesentlich leichter überwachen.
Interne Verlinkung und Crawl Depth
Google entdeckt viele URLs über Links.
Deshalb beeinflusst auch die interne Linkstruktur, wie leicht Google wichtige Seiten erreichen kann.
Eine zentrale Produktkategorie, die von mehreren starken Seiten verlinkt wird, ist für Google leichter erreichbar als eine Seite, die erst nach sieben Klicks gefunden werden kann.
Wichtige Seiten sollten deshalb nicht tief in der Architektur versteckt sein.
Das bedeutet aber nicht, dass jede URL zwanghaft maximal drei Klicks von der Startseite entfernt sein muss.
Entscheidend ist eine nachvollziehbare Hierarchie.
Zum Beispiel:
Startseite → Hauptkategorie → Unterkategorie → Produkt
oder:
Pillar Page → Themenbereich → Detailartikel
Die interne Verlinkung hat dabei einen eigenen SEO-Zweck und sollte nicht nur als „Crawl-Budget-Trick“ gesehen werden.
Wie Themencluster, Crawl Depth, Orphan Pages und Linkstrukturen sinnvoll aufgebaut werden, behandeln wir ausführlicher in unserem Beitrag zur internen Verlinkung und SEO-Siloing.
robots.txt richtig einsetzen
Die robots.txt kann Google mitteilen, welche Bereiche nicht gecrawlt werden sollen.
Bei großen Websites ist das ein wichtiges Werkzeug, wenn bestimmte URL-Muster langfristig keinen Wert für Google haben.
Ein Beispiel wären technisch erzeugte Sortierungsseiten, die ausschließlich für Nutzerfunktionen benötigt werden und niemals als Suchergebnis erscheinen sollen.
Allerdings sollte robots.txt nicht leichtfertig eingesetzt werden.
Wenn eine URL über robots.txt blockiert ist, kann Google den Inhalt dieser URL nicht abrufen.
Google kann dadurch beispielsweise auch kein noindex auf dieser Seite sehen.
Deshalb müssen Sie zuerst entscheiden:
Will ich Crawling verhindern oder Indexierung verhindern?
Das sind zwei verschiedene Ziele.
Noindex vs. robots.txt
Dieser Unterschied ist besonders wichtig.
robots.txt
Mit robots.txt verhindern Sie das Crawling einer URL oder eines URL-Musters.
Googlebot soll die Seite also gar nicht erst abrufen.
Das kann bei sehr großen Websites sinnvoll sein, wenn große Mengen technisch erzeugter URLs dauerhaft nicht gecrawlt werden sollen.
noindex
Mit noindex sagen Sie Google:
Diese Seite soll nicht in den Suchergebnissen erscheinen.
Damit Google dieses Signal erkennen kann, muss die Seite jedoch zunächst gecrawlt werden.
Deshalb ist noindex kein Werkzeug, um Crawl Budget zu sparen.
Google muss die URL weiterhin abrufen, um den Meta-Robots-Wert zu sehen.
Das bedeutet:
Wenn Ihr einziges Ziel lautet, Millionen unnötige URL-Kombinationen gar nicht crawlen zu lassen, ist ein noindex allein nicht die passende Lösung.
Gleichzeitig darf man aber nicht einfach alle unerwünschten Seiten per robots.txt blockieren.
Denn eine blockierte URL kann unter bestimmten Umständen weiterhin als URL in Google bekannt bleiben, wenn andere Seiten darauf verlinken.
Die richtige Lösung hängt deshalb immer vom konkreten Ziel und URL-Typ ab.
Content-Qualität beeinflusst auch Crawl Demand
Crawl-Budget-Optimierung wird häufig rein technisch betrachtet.
Das ist zu kurz gedacht.
Google nennt auch Content-Qualität, Einzigartigkeit, Popularität und allgemeinen Nutzwert als Faktoren, die beeinflussen können, wie Crawling-Ressourcen verteilt werden.
Wenn eine Website aus hunderttausenden schwachen, kaum unterscheidbaren Seiten besteht, lässt sich dieses Problem deshalb nicht nur mit robots.txt und Sitemaps lösen.
Manchmal muss der URL-Bestand selbst verbessert werden.
Das kann bedeuten:
schwache Inhalte aktualisieren,
Duplicate Content reduzieren,
ähnliche Seiten konsolidieren,
irrelevante URLs entfernen,
interne Signale auf wichtige Seiten konzentrieren.
Genau hier überschneiden sich technisches SEO und unser Ansatz aus dem Content Audit.
Crawl Budget bei Shops und E-Commerce
Bei Onlineshops ist das Thema besonders relevant, weil Shop-Systeme häufig sehr viele URLs erzeugen.
Ein Shop mit 50.000 Produkten kann technisch deutlich mehr als 50.000 crawlbare URLs besitzen.
Mögliche Ursachen sind:
Filterkombinationen
Sortierung
Produktvarianten
Trackingparameter
interne Suche
Pagination
Session-IDs
Wunschlisten
Warenkorb-URLs
alte Produkte
mehrfach erreichbare Kategorien
Deshalb sollte bei einem Crawl-Budget-Audit für Shops zuerst ein vollständiges URL-Inventar erstellt werden.
Anschließend werden die URLs in Gruppen eingeteilt.
Indexierbare SEO-Seiten
Dazu gehören beispielsweise:
wichtige Kategorien
relevante Unterkategorien
Produkte
SEO-relevante Filterseiten
Marken-Landingpages
Ratgeber
Funktionale URLs ohne eigenen SEO-Wert
Dazu können beispielsweise gehören:
bestimmte Sortierungen
interne Suchergebnisse
Session-URLs
Warenkorb-Funktionen
endlose Filterkombinationen
Die konkrete technische Steuerung sollte danach je URL-Gruppe entschieden werden.
Ein pauschales „alles auf noindex“ oder „alle Filter über robots.txt sperren“ ist bei großen Shops keine saubere Strategie.
Was tun bei ausverkauften oder entfernten Produkten?
Auch Produkt-Lifecycle gehört bei großen Shops zum Crawl Management.
Ein Produkt, das kurzfristig nicht verfügbar ist, sollte nicht automatisch gelöscht werden.
Wenn es wahrscheinlich wiederkommt und weiterhin Nachfrage besitzt, kann die Produktseite bestehen bleiben und transparent über die Verfügbarkeit informieren.
Ist ein Produkt dauerhaft entfernt, muss geprüft werden, ob es einen sehr passenden Nachfolger gibt.
Wenn ja, kann eine Weiterleitung sinnvoll sein.
Wenn nein, ist ein korrekter 404 oder 410 häufig sauberer als eine Weiterleitung auf eine komplett unpassende Kategorie.
Damit verhindern Sie, dass über Jahre immer mehr wertlose alte Produkt-URLs im System bleiben.
Servergeschwindigkeit und Crawl Capacity
Auch ein perfekter URL-Bestand hilft wenig, wenn der Server unter Googlebot-Anfragen regelmäßig langsam wird.
Google reduziert die Crawling-Aktivität, wenn Websites langsam reagieren oder Serverfehler liefern.
Bei großen Plattformen sollten deshalb nicht nur klassische Core Web Vitals betrachtet werden.
Wichtig sind unter anderem:
Server Response Time
Datenbanklast
CDN
Fehlerquote
Verfügbarkeit
Rendering-Aufwand
Wenn Google Seiten schneller laden und rendern kann, können auch mehr Inhalte effizient verarbeitet werden.
Gerade bei JavaScript-lastigen Shops sollte außerdem geprüft werden, ob wichtige Inhalte und Links für Google zuverlässig erreichbar sind.
Crawl Budget und KI-Crawler
2026 ist Crawling nicht mehr nur ein Google-Search-Thema.
Google hat seine Crawling-Dokumentation mittlerweile in eine breitere Infrastruktur-Dokumentation verschoben, weil Googles Crawling-Systeme für verschiedene Produkte verwendet werden.
Auch andere Anbieter betreiben eigene Bots und Crawler für KI-Systeme.
Das bedeutet allerdings nicht, dass jeder KI-Crawler automatisch das klassische Google-Search-Crawl-Budget „verbraucht“.
Unterschiedliche Crawler haben unterschiedliche Zwecke und eigene User Agents.
Bei Googles eigener Infrastruktur gibt es ebenfalls verschiedene Crawler mit unterschiedlicher Crawl Demand.
Google erklärt aktuell, dass die Crawl Capacity für verschiedene eigene Crawler auf Host-Ebene miteinander zusammenhängen kann.
Für große Websites wird deshalb Server-Log-Analyse zunehmend interessanter.
Dort können Sie unterscheiden:
Googlebot
andere Google-Crawler
bekannte KI-Crawler
Monitoring-Bots
SEO-Tools
unbekannte Bots
Wenn externe Bots sehr viel Serverlast erzeugen, kann das indirekt auch zum SEO-Problem werden, weil die Serverleistung insgesamt leidet.
Deshalb sollte Bot-Management bei sehr großen Websites nicht nur als Sicherheits-, sondern auch als Infrastrukturthema betrachtet werden.
Die häufigsten Fehler bei der Crawl-Budget-Optimierung
Ein häufiger Fehler ist, Crawl Budget zu optimieren, obwohl überhaupt kein Problem existiert.
Danach werden wichtige URLs blockiert oder technische Regeln eingeführt, die mehr schaden als helfen.
Ein weiterer Fehler ist die Annahme:
„Noindex spart Crawl Budget.“
Das stimmt so nicht.
Google muss die URL crawlen, um das Noindex-Signal überhaupt lesen zu können.
Auch das regelmäßige Sperren und Entsperren von Verzeichnissen über robots.txt ist keine sinnvolle Methode, um Crawling kurzfristig von einem Bereich in einen anderen zu verschieben.
Genauso wenig sollte versucht werden, Google durch ständig neu eingereichte unveränderte Sitemaps zu mehr Crawling zu zwingen.
Die bessere Strategie lautet:
URL-Bestand sauber halten und Google dauerhaft klare Signale geben.
Praktischer Crawl-Budget-Audit: So gehen wir vor
Bei einer großen Website würden wir die Analyse nicht mit robots.txt beginnen.
Zuerst muss klar sein, wie das URL-System tatsächlich aussieht.
1. URL-Bestand erfassen
Wir sammeln URLs aus mehreren Quellen:
Website-Crawl
XML-Sitemap
Search Console
Server-Logs
Analytics
CMS oder Produktdatenbank
Dadurch sieht man oft bereits, dass technisch wesentlich mehr URLs existieren als erwartet.
2. URL-Muster clustern
Danach werden die URLs nach Mustern aufgeteilt.
Zum Beispiel:
Produkte
Kategorien
Filter
Suchseiten
Parameter
Pagination
Blog
Weiterleitungen
Fehlerseiten
3. Googlebot-Verhalten prüfen
Über Search Console und bei größeren Projekten Server-Logs wird geprüft, welche URL-Gruppen Google tatsächlich crawlt.
4. Wichtige und unwichtige URLs trennen
Jetzt wird entschieden, welche URL-Muster echten SEO-Wert besitzen.
5. Crawling und Indexierung sauber steuern
Erst danach werden passende Maßnahmen ausgewählt:
URLs entfernen
Canonicals bereinigen
robots.txt
noindex
301-Weiterleitungen
404/410
interne Verlinkung
Sitemap
technische URL-Erzeugung anpassen
6. Auswirkungen überwachen
Nach der Umsetzung sollte kontrolliert werden, ob Google tatsächlich weniger irrelevante URLs crawlt und wichtige Inhalte schneller erreicht.
Dafür verbinden wir technische Kontrollen mit einem laufenden SEO Monitoring.
Was sollte zuerst optimiert werden?
Wenn tatsächlich ein Crawl-Budget-Problem vorliegt, würde ich nicht mit kleinen Details beginnen.
Die größten Hebel sind normalerweise strukturell.
Zuerst sollten Sie prüfen:
1. Entstehen unnötig viele URLs?
Das ist bei Shops häufig der größte Hebel.
2. Crawlt Google große Mengen Duplicate Content?
Dann müssen URL-Struktur und Canonicals geprüft werden.
3. Existieren viele Soft-404s oder alte URLs?
Diese sollten technisch sauber bereinigt werden.
4. Gibt es Redirect-Ketten?
Interne Links und Weiterleitungen direkt auf das finale Ziel setzen.
5. Ist die Sitemap sauber?
Nur relevante und indexierbare URLs aufnehmen.
6. Ist der Server schnell und stabil?
Serverprobleme können das Crawl Capacity Limit reduzieren.
7. Findet Google wichtige Seiten über interne Links?
Wichtige URLs sollten sinnvoll in der Website-Struktur eingebunden werden.
Für die interne Architektur selbst sollten Sie zusätzlich unseren Guide zur internen Verlinkung nutzen.
Crawl Budget ist kein Rankingfaktor
Dieser Punkt ist wichtig.
Mehr Crawl Budget bedeutet nicht automatisch bessere Rankings.
Wenn Google eine schlechte Seite häufiger crawlt, wird sie dadurch nicht automatisch besser ranken.
Crawl-Budget-Optimierung soll dafür sorgen, dass Google seine Crawling-Ressourcen effizienter auf die URLs verwendet, die wirklich wichtig sind.
Ranking entsteht danach weiterhin durch viele andere Faktoren:
Suchintention
Qualität
Relevanz
interne Struktur
Autorität
Nutzerwert
technische Qualität
Deshalb sollte Crawl Budget immer Teil einer größeren SEO-Strategie sein und nicht isoliert betrachtet werden.
Wann lohnt sich professionelle Crawl-Budget-Analyse?
Bei einer Website mit 150 URLs normalerweise nicht.
Bei einem Shop mit hunderttausenden Produkten, dynamischen Filtern und mehreren Millionen technisch erreichbaren URLs sieht das anders aus.
Eine tiefere Analyse lohnt sich vor allem, wenn:
wichtige Inhalte langsam gecrawlt werden,
große Mengen unnötiger URLs existieren,
Search Console viele nicht indexierte Seiten zeigt,
Googlebot auffällig viel auf Filter- und Parameter-URLs zugreift,
Serverprobleme auftreten,
Migrationen oder Relaunches durchgeführt wurden,
große E-Commerce-Strukturen regelmäßig verändert werden.
Hier sollte Crawl Budget nicht isoliert geprüft werden.
Crawling, Indexierung, Website-Architektur, Server, Sitemaps, Canonicals und interne Links hängen eng zusammen.
Im Rahmen eines SEO Audits können genau diese Bereiche gemeinsam bewertet werden.
Fazit: Crawl Budget nur optimieren, wenn wirklich ein Problem besteht
Crawl Budget ist wichtig – aber nicht für jede Website.
Eine kleine Website mit wenigen hundert sauberen URLs braucht normalerweise keine komplizierte Crawl-Budget-Strategie.
Bei großen Shops, Portalen und sehr dynamischen Websites kann das Thema dagegen entscheidend werden.
Besonders problematisch sind nicht unbedingt „zu wenig Googlebot-Ressourcen“, sondern ein schlecht kontrollierter URL-Bestand.
Wenn Googlebot große Mengen an Filterkombinationen, Duplicate Content, Soft-404s, Parameter-URLs oder Redirect-Ketten crawlt, sollte zuerst dort angesetzt werden.
Die sinnvollste Crawl-Budget-Optimierung besteht deshalb meistens aus vier Punkten:
unnötige URLs reduzieren, wichtige URLs leichter erreichbar machen, technische Fehler beseitigen und Server stabil halten.
Danach sollte regelmäßig geprüft werden, wie sich Googles Crawling tatsächlich verändert.
So wird Crawl Budget nicht zu einem theoretischen SEO-Begriff, sondern zu einem klar messbaren Teil der technischen Suchmaschinenoptimierung.
Quellen und weiterführende Informationen
Google Crawling Infrastructure: Optimize your crawl budget
https://developers.google.com/crawling/docs/crawl-budget
Google Crawling Infrastructure: Crawling Documentation Changelog
https://developers.google.com/crawling/docs/changelog
Google Search Console: Bericht „Crawling-Statistik“
https://support.google.com/webmasters/answer/9679690?hl=de
Google Search Central: noindex verwenden
https://developers.google.com/search/docs/crawling-indexing/block-indexing
Google Search Central: robots.txt Einführung
https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=de
