Definition Index
Häufig werden die im Internet zu findenden Suchmaschinen mit Webkatalogen verwechselt.
Eine herkömmliche Suchmaschine nimmt nur Websites an, welche von Hand angemeldet wurden oder aber Sites, die durch einen Suchmaschinenrobot erfasst wurde.
Ein Webkatalog hingegen kann nur durch einen manuellen Eintrag gefüllt werden. Folgend wird dieser Eintrag von einem Administrationsteam geprüft bzw. indexiert und danach freigeschaltet.
Zusätzlich besteht die Möglichkeit die Aufnahme von Robot Texten zu verbieten. Dabei werden die sogenannten robots.txt oder auch die einfachen Metatags der zutreffenden Seite angepasst.
Die Indexierung
Für den Metatag Robots gibt es verschiedene Spezifikationsmöglichkeiten.
- Durch den Robot werden angezeigte Seiten und dessen Folgeseiten in die Suchmaschine mit aufgenommen:
<meta name=“robots“ content=“index“>
<meta name=“robots“ content=“follow“>
- Von dieser Seite werden nun keine verlinkten Seiten verfolgt oder indexiert. Dies gilt auch für die Robots:
<meta name=“robots“ content=“noindex“>
<meta name=“robots“ content=“nofollow“>
- Bei folgendem Beispiel kann die jeweilige Seite nicht durch den Robot in der Suchmaschine aufgenommen werden. Es besteht allerdings die Möglichkeit alle Seiten aufzunehmen, auf welche verlinkt wird.
<meta name=“robots“ content=“noindex“>
<meta name=“robots“ content=“follow“>
