Ir al contenido
EUID Servicio de auditoría & sello, Inicio
Auditar su sitio web

Esta traducción aún no ha sido revisada editorialmente. La versión alemana es la vinculante. Deutsche Fassung

Indexación

¿Cómo reconozco el verdadero Googlebot?

En la dirección IP, nunca en el nombre. El identificador "Googlebot" en el protocolo de acceso es una indicación del remitente, y cualquier programa puede enviarlo; Google mismo escribe que a menudo es falso por otros rastreadores. Real es el acceso si su dirección IP pertenece a Google. En caso por caso, Google menciona una doble consulta en el sistema de nombres de Internet (DNS), listas de sus áreas IP publicadas para protección contra firewall y bot.

El identificador no prueba nada

Cada recuperación de un sitio web indica en el encabezado usuario-agente que está solicitando. Nadie revisa esta información. Google llama spammers y otros problemáticos que acceden a sitios web y pretenden ser Google. Además, las herramientas de comprobación envían el identificador para ver lo que un motor de búsqueda del sitio web está entregando. Para su cortafuegos, esto tiene consecuencias en ambas direcciones. Quien confía en el nombre, deja pasar a los imitadores. Y quien frena accede con este nombre en general, porque hay muchos visibles, puede encontrarse con el verdadero rastreador.

El caso individual: consultas de ida y vuelta en el DNS

Para una sola dirección IP del protocolo de acceso, Google describe este camino. La consulta inversa pregunta a qué nombre pertenece la dirección IP. El nombre debe terminar en googlebot.com, google.com o googleusercontent.com. La consulta de futuro pregunta qué dirección IP pertenece a este nombre. Debe ser lo mismo que en los minutos. El control cruzado es necesario porque la entrada atrasada es determinada por el propietario de una dirección IP. Su hoster maneja ambas consultas con el comando host; El ejemplo a continuación muestra la propia dirección de muestra de Google.

La solución permanente: listas IP de Google

Para protección contra firewall y bot, Google publica las áreas IP de sus rastreadores como archivos, por separado por tipo de acceso. El archivo common-crawlers.json indica las direcciones de los rastreadores generales como Googlebot; siempre se adhieren a los robots.txt cuando se recuperan automáticamente. El archivo especial-crawlers.json se aplica a casos especiales como el AdsBot. Otros archivos se aplican a las solicitudes hechas por un usuario; Google cita como ejemplo la confirmación de la propiedad de un sitio web. Tales llamadas no dependen de los robots.txt. Las direcciones están en los archivos como áreas de ortografía CIDR. Una protección que lee estas listas permite a través del tráfico real y no tiene que confiar en el nombre.

Qué pasa si la protección rechaza el verdadero Googlebot

Si la protección responde al verdadero Googlebot con un error de la serie 4xx, alrededor de 403, Google trata esto como una página que no existe: todas las respuestas 4xxx excepto 429 se tratan igual, y la dirección se elimina del índice. A 429 y errores de la serie 5xx, Google ralentiza la recuperación temporalmente. Los visitantes no lo notan, el sitio web carga como siempre. Se hace visible en la consola de búsqueda: en el informe de indexación de página y en la herramienta de comprobación URL, cuya prueba en vivo muestra lo que Google está recibiendo ahora mismo.

La misma muestra para los rastreadores AI

OpenAI también publica las direcciones IP de sus rastreadores, una lista para los usuarios de GPTBot, OAI SearchBot y ChatGPT. Cualquier persona que desee aparecer en la búsqueda de ChatGPT debe, según OpenAI, permitir el OAI SearchBot en los robots.txt y permitir el acceso desde las áreas IP publicadas a través. Una protección de bot también puede decidir aquí por origen. ¿Cuál de estos rastreadores que permites es tu propia pregunta? Ella responde al artículo "¿Puedo bloquear a los rastreadores de IA, y qué me doy por vencido?".

Ejemplos

Dos accesos con el identificador Googlebot

No se conocen
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)
Fulfilled
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Para la primera dirección no hay nombre en Google: el identificador es falso. El segundo es de ida y vuelta.

  • Deje que el hoster produzca el tráfico de la última semana con el identificador Googlebot, con dirección IP y código de estado.
  • Haga que algunas de estas direcciones IP sean comprobadas con la consulta DNS duplicada.
  • Pregúntele al proveedor de su firewall o protección de bot si reconoce a los rastreadores del motor de búsqueda en las listas IP de Google y cómo se llama el ajuste.
  • En Search Console, utilice la herramienta de verificación URL y "Test Live URL" para ver si Google puede recuperar su página de inicio y una subpágina.

Más sobre este tema

Deutsche Fassung dieser Seite

  • Sello Digitale Barrierefreiheit
  • Sello Daten & Recht
  • Sello Technische Qualität
  • Sello Digital Excellence
  • Sello Cyberversicherung

Auditado. Por un futuro digital mejor.euid.com