Es gibt keinen allgemeingültigen Zeitplan für technische Website-Crawls. Deshalb möchten wir Ihnen erläutern, welche Faktoren die Häufigkeit von Crawls für SEO beeinflussen.
Eine festgelegte Häufigkeit für die technischen Checks, die auf jeden SEO-Profi angewandt werden kann, wird es niemals geben. Schließlich hat jede Website ihren eigenen Entwicklung-Release-Zeitplan, Veröffentlichungsrhythmus und eine Unzahl anderer Variablen, die den Bedarf von technischen Analysen beeinflussen können.
Wie oft sollten Sie also die technischen Website-Crawls für SEO durchführen? Es kommt darauf an. Wovon hängt es dann ab? Das ist tatsächlich die entscheidende Frage.
In diesem Betrag werfen wir einen kurzen Blick darauf, was ein Website-Crawl ist und warum wir diesen durchführen. Anschließen widmen wir uns der Frage, wie oft er durchgeführt werden sollte.
Was ist ein technischer SEO Website Crawl?
Der Crawl einer Website ist es, wenn der sogenannte Software-Crawler oder Bot jede Seite einer Website besucht und dabei die Daten extrahiert. Dies ist vergleichbar mit der Art und Weise, wie der Bot einer Suchmaschine Ihre Website besuchen könnte.
Er folgt den Befehlen, die Sie ihm geben, indem er zum Beispiel Ihre robots.txt respektiert oder ignoriert. Ebenfalls können Sie ihm sagen, ob er nofollow-Tags befolgen oder ignorieren soll und noch viele weitere Bedingungen, die Sie entsprechend angeben können.
Haben Sie die Bedingungen entsprechend angepasst, wird er jede Seite, die er finden kann, crawlen, indem er Links folgt und XML-Sitemaps liest.
Der Crawler gibt dabei Informationen über die Seiten zurück. Dies können z. B. Server-Antwortcodes wie 404 sein, das Vorhandensein eines no-index-Tags auf der Seite oder auch ob Bots über die robots.txt am Crawlen gehindert werden.
Er kann auch HTML-Informationen wie den Seitentitel und die Beschreibungen, das Layout der Website-Architektur und entdeckte doppelte Inhalte ermitteln.
All diese Informationen liefern Ihnen dann eine aussagekräftige Momentaufnahme über die Fähigkeit Ihrer Website gecrawlt und indexiert zu werden. Er kann auch Probleme aufzeigen, die sich zum Beispiel auf das Ranking auswirken, sei es die Ladegeschwindigkeit, fehlende Metadaten oder dergleichen.
Der Sinn hinter einem technischen SEO Website Crawl
Wenn Sie den Crawl einer Website durchführen, hat dies in erster Linie immer zum Fokus diese oder mehrere bestehende Probleme zu identifizieren, da sie bestimmte Auswirkungen haben können. Diese Probleme sind unter anderem:
- Crawling
- Indexierung
- Rankings
Die Durchführung eines Crawls ist eine einfache Aufgabe, sobald Sie die Software installiert haben. Wenn Sie potenzielle oder aktuelle Probleme mit Ihrer Website aufdecken wollen, ist es sinnvoll sie auch regelmäßig zu crawlen.
Warum sollten Sie eine Website nicht ständig crawlen?
In der SEO gibt es nahezu unbegrenzte aufgaben, die wir jederzeit ausführen könnten – SERP-Analysen, das Aktualisieren von Meta-Titeln und das Umschreiben von Texten mit der Hoffnung auf ein höheres Ranking.
Ohne eine Strategie hinter diesen Aktivitäten lenken Sie sich bestenfalls selbst von wirkungsvoller Arbeit ab. Im schlimmsten Fall könnten Sie die Leistung Ihrer Website sogar verringern.
Wie bei anderen SEO-Aufgaben auch muss hinter Website-Crawls eine Strategie stehen.
Die Kehrseite der Frage „Wie oft sollten Sie technische Website-Crawls durchführen?“ ist nur zu verstehen und zu beantworten, wenn Sie wissen, warum Sie diese nicht ständig durchführen sollten.
Im Grunde genommen kosten Website-Crawls Zeit und Ressourcen – wenn nicht für die Durchführung, dann zumindest für eine effektive Analyse.
Zeit
Das Hinzufügen einer URL zu einem Website-Crawler und das Klicken auf „Los“ ist keine besonders lästige Aufgabe. Im Gegenteil – sie wird sogar noch weniger zeitaufwändig, wenn Sie Crawls automatisch planen.
Warum ist Zeit also ein entscheidender Faktor dafür, wie oft Sie eine Website crawlen sollten?
Ganz einfach: Weil es keinen Sinn ergibt, eine Website zu crawlen, wenn Sie die Ergebnisse nicht analysieren. Das ist es, was Zeit braucht – die finale Interpretation der Daten.
Vielleicht haben Sie eine Software, die Fehler in einem farbcodierten Ampelsystem nach Dringlichkeit hervorhebt, sodass Sie schnell einen Blick auf alles werfen können. Das gehört nicht zum Analysieren eines Crawls.
Sie könnten auf diese Weise wichtige Probleme übersehen, wenn Sie sich zu sehr auf ein Tool verlassen, das Ihnen sagt, wie Ihre Website optimiert ist.
Obwohl diese Form der Berichte sehr hilfreich ist, müssen sie mit tiefergehenden Prüfungen und Analysen gekoppelt werden, damit Sie sehen können, wie Ihre Website Ihre SEO-Strategie unterstützt.
Es wird wahrscheinlich gute Gründe geben, warum Sie diese automatisierten Berichte so einrichten möchten, dass sie häufig ausgeführt werden. Vielleicht haben Sie ein paar Probleme, wie z. B. Serverfehler, die Sie jeden Tag gemeldet haben möchten.
Diese sollten jedoch als Warnungen betrachtet werden, die eine genauere Untersuchung erfordern. Die richtige Analyse Ihrer Crawls, mit Kenntnis Ihres SEO-Plans, braucht Zeit.
Haben Sie die Kapazität oder das Bedürfnis, täglich einen vollständigen Crawl und eine Analyse durchzuführen?
Ressourcen
Um Ihre Website zu crawlen, benötigen Sie eine Software.
Einige Softwares sind kostenlos und können nach Zahlung einer Lizenzgebühr unbegrenzt genutzt werden. Bei anderen wird Ihnen die Nutzung in Rechnung gestellt.
Wenn sich die Kosten für die Crawling-Software nach der Nutzung richten, kann es kostspielig sein, Ihre Website jeden Tag zu crawlen. Es kann in manchen Fällen sein, dass Sie Ihr monatliches Kontingent zu früh aufbrauchen, was bedeutet, dass Sie die Website nicht crawlen können, wenn Sie es tatsächlich benötigen sollten.
Server-Belastung
Leider sind einige Websites auf Server angewiesen, die nicht besonders robust sind. Infolgedessen kann ein zu schnell durchgeführter Crawl oder ein Crawling zu einer geschäftigen Zeit die Seite zum Absturz bringen.
Um die Website sicher zu crawlen, müssen möglicherweise die Tools verlangsamt werden, was den Prozess zeitaufwändiger macht.
Es könnte bedeuten, dass Sie sich mit der Person, die für die Wartung des Servers zuständig ist, in Verbindung setzen müssen, um sicherzustellen, dass sie sich auf den Crawl vorbereiten kann.
Dies zu häufig oder ohne triftigen Grund zu tun, ist nicht sinnvoll und ärgerlich für alle Beteiligten.
Alternativen zum Crawlen Ihrer Website
Sie müssen Ihre Website nicht unbedingt täglich crawlen, um Probleme aufzuspüren. Sie können den Bedarf an häufigen Crawls reduzieren, indem Sie andere Prozesse und Tools einrichten.
Software zur Überwachung von Änderungen
Manche Software kann Ihre Website auf eine ganze Reihe von möglichen Änderungen hin überprüfen. Sie können zum Beispiel einen Alarm für einzelne Seiten einrichten, um zu überwachen, ob sich Inhalte ändern.
Sie können auch spezielle Softwares verwenden, die Sie über den Serverstatus, SSL-Ablauf, robots.txt-Änderungen und XML-Sitemap-Validierungsprobleme informiert. Alle diese Arten von Warnungen können Ihren Bedarf reduzieren, die Website zu crawlen, weil über diese Wege hin bereits Probleme identifiziert werden.
Stattdessen können Sie diese Crawls und Audits für den Fall aufheben, dass ein Problem entdeckt wird und behoben werden muss.
Prozesse, die SEO-Profis über Änderungen/Pläne informieren
Eine weitere Möglichkeit die Notwendigkeit Ihre Website häufig zu crawlen zu minimieren, ist die Einführung von Prozessen mit anderen Teammitgliedern. Diese können Sie über Änderungen an der Website auf dem Laufenden halten. Das ist in den meisten Fällen leichter gesagt als getan, aber es ist eine gute Praxis, die sich einzuführen lohnt.
Wenn Sie Zugriff auf das Ticket-System des Entwicklungsteams oder der Agentur haben und in regelmäßiger Kommunikation mit dem Projektmanager stehen, werden Sie sehr wahrscheinlich wissen, wann und falls sich Änderungen auf die SEO auswirken könnten.
Auch wenn Sie nicht genau wissen, was sich durch den Roll-out ändern wird, können Sie Ihre Crawls so planen, dass sie um diese wichtigen Termine herum stattfinden.
Wenn Sie wissen, wann neue Seiten live gehen, Inhalte umgeschrieben oder neue Produkte eingeführt werden, wissen Sie auch, wann ein Crawl erforderlich ist.
Dies erspart Ihnen wöchentlich einen Crawl durchführen zu müssen, wenn etwas Verändert wird.
Automatisierte Crawls mit maßgeschneiderten Berichten
Wie bereits erwähnt bieten Crawling-Tools oft die Möglichkeit die Crawls zu planen. Vielleicht sind Sie der Auffassung, dass dies etwas ist, was Ihr Server sowie Ihre Prozesse verkraften können.
Vergessen Sie aber nicht, dass Sie die Crawls immer noch lesen und analysieren müssen. Also spart das Planen der Crawls nicht unbedingt viel Zeit, es sei denn, es wird am Ende ein aufschlussreicher Bericht erstellt.
Diese Automatisierung und das Reporting könnten dann für Sie ein Anlass sein, einen spezifischeren Crawl und eine Analyse durchzuführen, anstatt ein sehr häufiges, von Menschen initiiertes Crawling zu verlangen.
Wann sollte ein Crawl durchgeführt werden?
Wie wir bereits besprochen haben, sind häufige Crawls zur Überprüfung des Zustands der Website nicht unbedingt notwendig.
Crawls sollten eigentlich in den folgenden Situationen durchgeführt werden.
Vor Entwicklungs- oder Inhaltsänderung
Wenn Sie Ihre Website auf eine Änderung vorbereiten – zum Beispiel eine Übertragung von Inhalten auf eine neue URL-Struktur – müssen Sie Ihre Website crawlen.
So können Sie feststellen, ob es auf den zu ändernden Seiten bereits Probleme gibt, die die Performance nach der Übertragung beeinträchtigen könnten.
Das Crawlen Ihrer Seite, bevor eine Entwicklung oder inhaltliche Änderung an der Seite vorgenommen wird, stellt sicher, dass sie sich in einem optimalen Zustand befindet, damit diese Änderung positiv ausfällt.
Vor dem Durchführen von Experimenten
Wenn Sie sich darauf vorbereiten, ein Experiment auf Ihrer Website durchzuführen, z. B. zu prüfen, welche Auswirkungen das Entfernen von spammigen Backlinks haben könnte, müssen Sie die Variablen kontrollieren.
Es ist wichtig, Ihre Website zu crawlen, um eine Vorstellung von allen anderen Problemen zu bekommen, die das Ergebnis des Experiments ebenfalls beeinflussen könnten.
Sie wollen mit Sicherheit sagen können, dass es die Disavow-Datei war, die den Anstieg der Rankings für einen problematischen Bereich Ihrer Website verursacht hat, und nicht, dass die Ladegeschwindigkeit dieser URLs etwa zur gleichen Zeit gestiegen ist.
Zum Beispiel nach einer Übertragung von Inhalten oder wenn neue Änderungen an der Website vorgenommen wurden – alles, was kaputtgegangen sein könnte oder nicht korrekt implementiert wurde.
Wenn Sie auf ein Problem aufmerksam gemacht werden
Es kann sein, dass Sie durch Tools oder durch persönliche Entdeckung auf ein technisches SEO-Problem aufmerksam gemacht werden, z. B. eine fehlerhafte Seite. Dies sollte Ihren Crawl- und Audit-Prozess in Gang setzen.
Das Ziel des Crawls ist es, festzustellen, ob das Problem weit verbreitet ist oder sich auf den Bereich der Website beschränkt, auf den Sie bereits aufmerksam gemacht wurden.
Fazit
Es gibt keinen allgemeingültigen Zeitplan für technische Website-Crawls. Ihre individuelle SEO-Strategie, Ihre Prozesse und die Art Ihrer Website beeinflussen die optimale Häufigkeit für die Durchführung von Crawls.
Auch Ihre eigenen Kapazitäten und Ressourcen beeinflussen diesen Zeitplan.
Nehmen Sie Rücksicht auf Ihre SEO-Strategie und implementieren Sie andere Alerts und Checks, um die Notwendigkeit häufiger Website-Crawls zu minimieren.
Ihre Crawls sollten nicht nur eine Übung zur Website-Wartung sein, sondern eine Reaktion auf einen vorbeugenden oder entgegenwirkenden Bedarf.
