Seleccionar página

COMO FUNCIONA EL ROBOT DE GOOGLE

El Robot de Google es el nombre genérico del rastreador web de Google y engloba dos tipos de rastreadores: el de ordenadores, que simula ser un usuario que navega desde su ordenador, y el de dispositivos móviles, que recrea un usuario de este tipo de dispositivos.

Es probable que tu sitio web lo acaben rastreando ambos tipos de robots de Google. Puedes saber cuál te ha rastreado consultando la cadena de user-agent de la solicitud. Como ambos rastreadores siguen las reglas del mismo token de producto (token de user-agent) de robots.txt, no puedes elegir de forma exclusiva uno u otro en tu archivo robots.txt.

COMO ACCEDE EL ROBOT DE GOOGLE A LOS SITIOS

En la mayoría de los casos, de media el robot de Google no debería acceder a tu sitio más de una vez cada pocos segundos. Sin embargo, si se producen retrasos, puede que esta frecuencia de rastreo aumente ligeramente durante breves periodos.

El robot de Google está diseñado para ejecutarse simultáneamente en miles de ordenadores porque así es más eficiente y se puede adaptar al crecimiento de la Web. Además, para consumir menos ancho de banda, muchos rastreadores se ejecutan en ordenadores que están cerca de los sitios que tienen posibilidades de rastrear.

Por tanto, es posible que tus registros muestren visitas de varios equipos a la página google.com, en todos los casos con el user-agent del robot de Google.

En cada visita, se intentan rastrear tantas páginas de tu sitio como permite el ancho de manda de tu servidor. Si tu sitio tiene problemas para soportar todas las solicitudes de rastreo de Google, puedes pedir un cambio en la frecuencia de rastreo.

Por lo general, el robot de Google rastrea con HTTP/1.1. Sin embargo, desde noviembre del 2020, el robot de Google puede rastrear con HTTP/2 los sitios que sean compatibles con este protocolo y puedan aprovecar sus ventajas.

De este modo, el robot de Google y esos sitios ahorran recursos informáticos (como CPU o RAM), pero el cambio no afecta de ninguna manera a la indexación ni al posicionamiento de los sitios.

Si no quieres que tu sitio se rastree con HTTP/2, indica al servidor donde se aloja que, cuando el robot de Google intente rastrear el sitio con HTTP/2, responda con un código de estado HTTP 421. Si no puedes hacerlo, envía un mensaje al equipo del robot de Google (aunque esta solución es temporal).

IMPEDIR QUE EL ROBOT DE GOOGLE ACCEDA A UN SITIO

Resulta prácticamente imposible mantener un servidor web en secreto limitándote a no publicar ningún enlace que lleve a él. Por ejemplo, en cuanto un usuario siga un enlace de tu servidor «secreto» a otro servidor web, es posible que tu URL «secreta» aparezca en la etiqueta referente, por lo que el otro servidor web podría almacenarla y publicarla en su registro de referentes.

Además, en la Web hay muchos enlaces obsoletos y rotos. Si alguien publica un enlace incorecto a tu sitio o no actualiza otros enlaces para reflejar cambios que hayas hecho en tu servidor, el robot de Google, intentará rastrear un enlace incorrecto de tu sitio.

Si no quieres que el robot de Google rastree contenido de tu sitio, tienes varias opciones. Recuerda que no es lo mismo impedir que el robot de Google rastree una página, que evitar que la indexe o que impedir que tanto rastreadores como usuarios puedan acceder a ella.

CÓMO BLOQUEAR CONTENIDO

La mejor forma de asegurarte de que cierto contenido no aparecerá en la Búsqueda de Google ni en ningún otro lugar es retirarlo de tu sitio. Si la información ya se muestra en Google, tendrás que seguir algunos pasos más para que la retirada sea permanente. Si te interesa retirar rápidamente (en el plazo de un día) de los resultados de búsqueda de Google una página alojada en tu sitio, utiliza la herramienta de retirada de URLs.

RETIRAR DE LA BÚSQUEDA DE GOOGLE INFORMACIÓN FINANCIERA, MÉDICA Y DE DOCUMENTOS DE IDENTIFICACIÓN NACIONAL

Requisitos. Para que Google evalúe la retirada del contenido, debe pertenecer a los siguientes tipos de información: Números de identificación nacional confidenciales, como el DNI de España, el número de la seguridad social de Estados Unidos, el número único de identificación fiscal de Argentina, el registro de personas físicas de Brasil, el número de registro de residente de Corea, la tarjeta de identidad de residente de China, etc. También otra información confidencial relacionada con: Número de cuenta bancaria; Número de tarjeta de crédito; Imágenes de firmas; Historiales médicos y confidenciales.

SOLICITAR LA RETIRADA DE INFORMACIÓN SELECCIONADA DE LA BÚSQUEDA DE GOOGLE

Tú o tu representante autorizado podéis enviar una solicitud para que se retiren enlaces al contenido de los resultados de búsqueda de Google. Los representantes autorizados deberán explicar de qué manera tienen potestad para actuar en tu nombre.Accede al Formulario de Solicitud de Retirada a través del siguiente botón:

INICIAR SOLICITUD DE RETIRADA