Esta tradução ainda não foi revista editorialmente. A versão alemã é vinculativa. Deutsche Fassung →
AI crawler em robots.txt: quem bloqueia não é citado
As máquinas de resposta apenas citam o que seus rastreadores podem ler. Se o robots.txt de um site bloqueia GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ou Google-Extended com “Desallow: /”, a página não está presente para estes sistemas – independentemente de quão bom conteúdo e estrutura são. A área de verificação lê o robots.txt do domínio e reporta todos os blocos completos.
- O bloco pode ser uma decisão consciente, por exemplo por razões de direitos autorais. Então o achado não é um erro, mas a confirmação de que a decisão funciona – quem quer visibilidade da IA, cancela-a.
- Muitas fechaduras vêm de modelos copiados ou predefinições de plugin que bloqueiam todos os bots. Verifique se o bloqueio é desejado.
- Bloquear caminhos parciais é permitido e não conta como um bloco: “Desallow: /internal/” deixa o conteúdo público legível.
