Esta tradução ainda não foi revista editorialmente. A versão alemã é vinculativa. Deutsche Fassung
Indexação
Como reconheço o verdadeiro Googlebot?
No endereço IP, nunca no nome. O identificador "Googlebot" no protocolo de acesso é uma indicação do remetente, e qualquer programa pode enviá-lo; o próprio Google escreve que é muitas vezes falsificado por outros rastreadores. Real é o acesso se seu endereço IP pertence ao Google. Caso a caso, o Google menciona uma consulta dupla no sistema de nomenclatura da Internet (DNS), listas de suas áreas IP publicadas para proteção de firewall e bot.
O identificador não prova nada
Cada recuperação de um site indica no usuário-agente cabeçalho que está solicitando. Ninguém verifica esta informação. Google chama spammers e outros encrenqueiros que acessam sites e fingem ser Google. Além disso, as ferramentas de verificação enviam o identificador para ver o que um motor de busca do site está entregando. Para o seu firewall, isso tem consequências em ambas as direções. Quem confia no nome, deixa passar os imitadores. E quem trava acessos com este nome em geral, porque há muitos conspícuos, pode encontrar o verdadeiro rastreador.
O caso individual: consultas de ida e volta no DNS
Para um único endereço IP do protocolo de acesso, o Google descreve este caminho. A consulta reversa pergunta a qual nome o endereço IP pertence. O nome deve terminar em googlebot.com, google.com ou googleusercontent.com. A consulta de encaminhamento pergunta qual endereço IP pertence a este nome. Tem de ser o mesmo que na acta. A verificação cruzada é necessária porque a entrada para trás é determinada pelo proprietário de um endereço IP. Seu host lida com ambas as consultas com o comando host; O exemplo abaixo mostra o próprio endereço de exemplo do Google.
A solução permanente: listas de IP do Google
Para proteção de firewall e bot, o Google publica as áreas IP de seus rastreadores como arquivos, separadamente por tipo de acesso. O arquivo common-crawlers.json indica os endereços de rastreadores gerais como o Googlebot; eles sempre aderem ao robots.txt quando automaticamente recuperados. O arquivo special-crawlers.json aplica-se a casos especiais como o AdsBot. Outros arquivos se aplicam às solicitações feitas por um usuário; o Google cita como exemplo a confirmação da propriedade de um site. Tais chamadas não dependem do robots.txt. Os endereços estão nos arquivos como áreas na grafia CIDR. Uma proteção que lê estas listas permite através do tráfego real e não tem que confiar no nome.
O que acontece se a proteção rejeitar o Googlebot real
Se a proteção responder ao verdadeiro Googlebot com um erro da série 4xx, cerca de 403, o Google trata isso como uma página que não existe: todas as respostas 4xx exceto 429 são tratadas da mesma forma, e o endereço é removido do índice. Em 429 e erros da série 5xx, o Google retarda temporariamente a recuperação. Os visitantes não percebem, o site carrega como sempre. Fica visível no Console de Pesquisa: no relatório de indexação da página e na ferramenta de verificação de URL, cujo teste ao vivo mostra o que o Google está recebendo agora.
Mesma amostra para rastreadores de IA
O OpenAI também publica os endereços IP de seus rastreadores, uma lista para usuários do GPTBot, OAI SearchBot e ChatGPT. Qualquer pessoa que queira aparecer na busca do ChatGPT deve, de acordo com o OpenAI, permitir que o OAI SearchBot no robots.txt e deixar o acesso das áreas de IP publicadas passar. Uma proteção bot pode, assim, também decidir aqui por origem. Qual desses rastreadores você permite é sua própria pergunta; Ela responde ao artigo "Posso bloquear rastreadores de IA, e o que eu desisto?".
Exemplos
Dois acessos com o identificador Googlebot
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1Para o primeiro endereço não há nome no Google: o identificador é falsificado. O segundo é para trás e para a frente.
- Deixe que o anfitrião elimine o tráfego da última semana com o identificador Googlebot, com endereço IP e código de status.
- Verifique alguns desses endereços IP com a consulta DNS duplicada.
- Pergunte ao provedor de seu firewall ou proteção bot se ele reconhece rastreadores de motor de busca nas listas de IP do Google e como a configuração é chamada.
- No Console de Pesquisa, use a ferramenta de verificação de URL e "Test Live URL" para ver se o Google pode recuperar sua homepage e uma subpage.




