Esta tradução ainda não foi revista editorialmente. A versão alemã é vinculativa. Deutsche Fassung
GEO / IA
Será que meus robôs.txt bloqueiam os rastreadores de IA do ChatGPT, Claude e Perplexidade?
Se um site pode aparecer nas respostas do ChatGPT, Claude ou Perplexity não é decidido no texto, mas em um pequeno arquivo no diretório raiz: o robots.txt. Ela diz a todos os rastejantes o que ler. Os provedores de IA operam seus próprios rastreadores com seus próprios nomes — GPTBot e OAI SearchBot para OpenAI, ClaudeBot para Anthropic, PerplexityBot para Perplexity, Google Extended para uso de IA no Google. Se um desses nomes ou todos os bots for completamente banido no arquivo, a página para este sistema não existe. A área de verificação GEO lê o robots.txt do domínio e relata cada bloco completo.
Como a verificação lê o que o arquivo diz
Um robots.txt consiste em grupos: cada um começa com uma ou mais linhas de agente-usuário e nomeia o que é permitido e o que é proibido. Para cada rastreador conhecido de IA, a área de teste busca primeiro seu próprio grupo; se não houver nenhum, o grupo se aplica a todos os bots, marcados com um asterisco. Apenas uma proibição de todo o desempenho conta como um bloco, ou seja, a linha Disallow com uma única barra. As proibições de caminhos individuais — como uma área interna ou um resultado de busca — são normais e não custam pontos. Se todos os rastreadores testados estiverem bloqueados, a regra é zero de doze pontos; Os indivíduos estão trancados, com seis. Se o arquivo estiver completamente ausente ou inacessível, nada é considerado bloqueado e não pode ser lido devido a um erro de rede, a regra permanece sem dedução, O desconhecido nunca se torna uma falta.
Um bloqueio pode ser desejado – então o resultado é a confirmação
Alguns operadores deliberadamente bloqueiam rastreadores de IA porque não querem que seus textos fluam para modelos de linguagem. Esta é uma decisão legítima, e a constatação não a contradiz: ele afirma que o bloco funciona, e que a página não é, portanto, citada. Se você quiser proteção e visibilidade, você pode diferenciar: OAI SearchBot e PerplexityBot são usados para pesquisa e citação, GPTBot e Google-Extended são usados para treinamento. Mais comum do que a decisão consciente, no entanto, é o despercebido: plugins de segurança e modelos copiados bloqueiam todos os bots desconhecidos, e ninguém nunca olhou. É para isso que serve a descoberta. Compartilhar é uma linha no arquivo; Funciona no próximo rastejo.
- Abra o robots.txt do seu domínio no navegador e procure os nomes GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended, bem como um grupo para todos os bots com inallow e slash.
- Decida conscientemente: Visibilidade nas respostas de IA ou proteção contra o uso de treinamento — e distinga os rastreadores de busca dos rastreadores de treinamento.
- Verificar plugins de segurança e modelos para bloqueios de bot cobertor; São a causa mais comum.
- Ter a página verificada novamente após uma mudança; o robots.txt é lido recentemente para cada teste.
