Índice de definiciones
Los motores de búsqueda de Internet se confunden a menudo con los catálogos web.
Un motor de búsqueda convencional sólo acepta sitios web introducidos manualmente o sitios introducidos por un robot de búsqueda.
En cambio, un catálogo web sólo puede rellenarse mediante una entrada manual. A continuación, un equipo administrativo comprueba o indexa esta entrada y la activa.
También es posible prohibir la grabación de textos robóticos. Se adaptan los llamados robots.txt o las metaetiquetas simples de la página correspondiente.
Indexación
Existen varias opciones de especificación para la metaetiqueta Robots.
- El robot incluye las páginas mostradas y sus páginas subsiguientes en el motor de búsqueda:
<meta name=“robots“ content=“index“>
<meta name=“robots“ content=“follow“>
- Ahora no se rastrean ni indexan páginas enlazadas desde esta página. Esto también se aplica a los robots:
<meta name=“robots“ content=“noindex“>
<meta name=“robots“ content=“nofollow“>
- En el siguiente ejemplo, la página correspondiente no puede ser incluida en el motor de búsqueda por el robot. Sin embargo, es posible incluir todas las páginas a las que se enlaza.
<meta name=“robots“ content=“noindex“>
<meta name=“robots“ content=“follow“>