Große Websites bei Google zu indexieren benötigt viel Zeit. Bevor neue Websites zu großen Teilen indexiert werden, werden sie zuerst gecrawlt. Daraufhin wartet Google auf Signale, bevor sie sich dazu entschließen die neu erstellte Seite weiter zu indexieren.
John Müller (Senior Webmaster Trends Analyst von Google) gab am 8. Januar in den Google Search Central SEO Office Hours einige Informationen über das Indexieren und das Crawlen neuer Websites bei Google bekannt. Zuerst sollte aber geklärt werden, wer John Müller ist und was Indexierung bedeutet.
Wer ist John Müller?
John Müller, eigentlich Johannes Müller, ist der Senior Webmaster Trends Analyst von Google. Müller gibt hin und wieder Interviews oder taucht in YouTube Videos auf, in denen er kleine Tipps oder Lösungsansätze für Probleme gibt. Manchmal gibt er dabei auch Ideen, wie er ein Problem lösen würde vor. Müller lädt regelmäßig auf dem „Google Webmaster Central Blog“ Videos mit Neuigkeiten zu Crawling und Indizierung hoch
Was ist Indexierung?
Beim Indexieren handelt es sich um eine Methode der Informationserfassung. Hierbei wird im Kontext des Internets ein Dokument in den Index, also in das Register, einer Suchmaschine aufgenommen.
So ist der „Google Index“ zum Beispiel die Gesamtheit aller von Google erkannten Webseiten. Dafür werden sogenannte Crawler genutzt, die das Web durchsuchen.
Diese arbeiten eigenständig und helfen bei der Indexierung neuer Websites in den Index. Ein Crawler gelangt dabei über Hyperlinks von Website zu Website, speichert diese ab und fügt sie in eine Liste aller URLs ein. Verstößt eine Webseite gegen die Google Richtlinien, wird diese Entfernt und nicht mehr angezeigt. Für die Suchmaschinenoptimierung ist die Indexierung sehr wichtig. Je qualitativ hochwertiger der Inhalt der eigenen Seite ist, desto höher wird die Seite in der Suchmaschine gelistet.
Jedoch ist eine Indexierung keine Garantie dafür, dass Nutzern die Website auch auf der ersten Google Seite angezeigt wird. Wichtig bei der Indexierung und dem Crawling ist auch, dass die eigene Website so aufgebaut ist, dass der Crawler ohne Probleme alle internen Links finden kann, um diese ebenfalls dem Index hinzuzufügen. Eine SEO optimierte Seite macht daher das Indexieren ebenfalls leichter.
Kann ich die Indexierung selbst starten?
Die Indexierung der eigenen Webseite selbst zu starten ist möglich. Hierfür kann man Google kontaktieren und einen Antrag auf Indexierung stellen. Dafür muss man die Seite https://www.google.de/addurl/ besuchen. Wenn man ein Google Konto besitzt, kann man hierüber Google die nötigen Daten schicken. Alternativ kann man auch über die „Search Console“ Sitemaps (Liste mit Websites) direkt an Google schicken. Diese wird dann innerhalb von 24 Stunden gecrawlt. Sollten neue Inhalte und Links in die eigene Website eingebaut worden sein, kann man diese wieder bei Google zum Crawlen einreichen, um so seine Website im Index auf dem aktuellen Stand zu halten. Sollte man seine Website nicht bei Google persönlich einreichen, ist das aber überhaupt kein Problem. Da der Crawler von Google dauerhaft arbeitet, werden neue Seiten sehr schnell in den Index aufgenommen.
Wie verläuft die Indexierung bei Google?
Für die Betreiber einer neuen Website kann es meist nicht schnell genug gehen, die eigene Seite gecrawlt und indexiert zu haben. So teilte John Müller mit, dass große Websites zu Anfang nur teilweise indexiert werden, auch wenn Google versuche möglichst viel zu indexieren. Er bezog sich dabei auf die Anfrage zu einer Website mit mehreren Millionen URLs, die zu verschiedenen Produkten führen sollen, die seit drei bis vier Monaten bestehe. Google versuche hier auf der sicheren Seite zu bleiben, so John Müller. Das Indexieren von Websites benötigt viel Zeit und Speicher. Um die Server nicht zu überlasten und dadurch Probleme zu vermeiden, ist die Geschwindigkeit der Indexierung zu Anfang etwas geringer.
Laut John Müller will Google sicherstellen, dass die Indexierung einer Website auch rentabel ist. So sollte man Google zeigen, dass sich das Indexieren der Seite lohnt, weil sie etwas enthält, wonach die Nutzer suchen. Sollte sich mit der Zeit herausstellen, dass die Website gut in das Web integriert ist, erhöhen sie die Geschwindigkeit und es werden weitere Inhalte hinzugefügt. Durch das Aufrufen und das Weiterempfehlen mehrerer Nutzer, erkennt Google den Nutzen der Website und indexiert weitere URLs. Es sei normal, so John Müller, dass besonders große Websites zu Anfang langsam indexiert werden. Google ist nicht in der Lage, Millionen von URLs auf einmal zu indexieren.
Müller bezieht sich dabei auf verschiedene Signale, wie das Entstehen von Backlinks oder neue Websites, die Google nach und nach sammeln muss. Es kann mehrere sechs bis neun Monate dauern, bis sich Rankings einer neuen Website stabilisiert haben.
Müller empfiehlt hierbei, sich Beispielweise auf wenige aber dafür wichtige Seiten zu konzentrieren. So muss Google weniger indexieren. Man könnte sich so zum Beispiel auf einige Kategorien oder wichtige Produktseiten zu Anfang begrenzen. Man sollte sich am Anfang auf etwas Fokussieren, um von diesem Punkt aus dann seine Seite weiter zu expandieren.
Das Indexieren (besonders bei großen Websites) benötigt also vor allem Zeit. Geduld ist hier von den Besitzern der Website gefragt. Allerdings sollte man ebenso beachten, seine neue Seite zu Anfang lieber auf das wichtigste einzugrenzen und sie danach Stück für Stück weiter auszubauen. So kann Google einfacher und schneller indexieren.
