noindex - noindex
El valor noindex de una metaetiqueta de robots HTML solicita que los robots de Internet automatizados eviten indexar una página web. Las razones por las que uno podría querer usar esta metaetiqueta incluyen aconsejar a los robots que no indexen una base de datos muy grande, páginas web que son muy transitorias, páginas web que están en desarrollo, páginas web que uno desea mantener un poco más privadas, o la impresora y versiones de páginas compatibles con dispositivos móviles. Dado que la responsabilidad de respetar la etiqueta noindex de un sitio web recae en el autor del robot de búsqueda, a veces estas etiquetas se ignoran. Además, la interpretación de la etiqueta noindex a veces es ligeramente diferente de una empresa de motor de búsqueda a otra.
No indexar páginas enteras
<html>
<head>
<meta name="robots" content="noindex">
<title>Don't index this page</title>
</head>
Los valores posibles para el contenido de la metaetiqueta son: "none", "all", "index", "noindex", "nofollow" y "follow". También es posible una combinación de los valores, por ejemplo:
<meta name="robots" content="noindex, follow">
Directivas específicas de bot
La directiva noindex se puede restringir solo a ciertos bots especificando un valor de "nombre" diferente en la metaetiqueta.
Por ejemplo, para bloquear específicamente el bot de Google, especifique:
<meta name="googlebot" content="noindex">
O, para bloquear el bot de Bing, especifique:
<meta name="bingbot" content="noindex">
O, para bloquear el bot de BaidUu, especifique:
<meta name="baiduspider" content="noindex">
archivo robots.txt
Se puede utilizar un archivo robots.txt para bloquear el rastreo.
No indexar parte de una página
También es posible excluir parte de una página web, por ejemplo, el texto de navegación, para que no se indexe en lugar de la página completa. Existen varias técnicas para hacer esto; es posible utilizar varios en combinación. La principal araña de indexación de Google, Googlebot , no reconoce ninguna de estas técnicas.
etiqueta <noindex>
El motor de búsqueda ruso Yandex introdujo una nueva etiqueta <noindex> que evita la indexación del contenido entre las etiquetas. Para permitir que el código fuente se valide, se puede usar <! - noindex -> alternativamente:
<p>
Do index this text.
<noindex>Don't index this text.</noindex>
<!--noindex-->Don't index this text.<!--/noindex-->
</p>
Otras arañas de indexación también reconocen la etiqueta <noindex>, incluida Atomz .
microformato
Existe un borrador de especificación de microformatos de 2005 con la misma funcionalidad. El perfil de exclusión de robots busca el atributo y el valor class = "robots-noindex" en las etiquetas HTML:
<p>Do index this text.</p>
<div class="robots-noindex">Don't index this text.</div>
<span class="robots-noindex">Don't index this text.</span>
<p class="robots-noindex">Don't index this text.</p>
También es posible una combinación de valores, por ejemplo:
<div class="robots-noindex robots-follow">Text.</div>
Yahoo!
En 2007, Yahoo! introdujo una funcionalidad similar al microformato en su araña. Sin embargo, la araña de Yahoo! Es incompatible porque busca el valor class = "robots-nocontent" y solo este valor:
<p>Do index this text.</p>
<div class="robots-nocontent">Don't index this text.</div>
<span class="robots-nocontent">Don't index this text.</span>
<p class="robots-nocontent">Don't index this text.</p>
IFilter de SharePoint 2010 excluye el contenido dentro de una etiqueta <div> con el atributo y el valor class = "noindex" . Los <div> internos no se excluyeron inicialmente, pero esto puede haber cambiado. También se desconoce si el atributo se puede aplicar a etiquetas distintas de <div>.
<p>Do index this text.</p>
<div class="noindex">Don't index this text.</div>
Comentarios estructurados
El Google Search Appliance utiliza los comentarios estructurados:
<p>
Do index this text.
<!--googleoff: all-->
Don't index this text.
<!--googleon: all-->
</p>
Otras arañas de indexación utilizan sus propios comentarios estructurados.