Esta traducción aún no ha sido revisada editorialmente. La versión alemana es la vinculante. Deutsche Fassung
GEO / IA
¿Mis robots.txt bloquean los rastreadores de IA de ChatGPT, Claude y Perplejidad?
Si un sitio web puede aparecer en las respuestas de ChatGPT, Claude o Perplejidad no se decide en el texto, pero en un pequeño archivo en el directorio raíz: los robots.txt. Le dice a todos los rastreadores qué leer. Los proveedores de AI operan sus propios rastreadores con sus propios nombres: GPTBot y OAI SearchBot for OpenAI, ClaudeBot for Anthropic, PerplexityBot for Perplexity, Google Extended for AI use on Google. Si uno de estos nombres o todos los bots está completamente prohibido en el archivo, la página para este sistema no existe. El área de control GEO lee los robots.txt del dominio e informa cada bloque completo.
Cómo el cheque lee lo que dice el archivo
Un robots.txt consiste en grupos: cada uno comienza con una o más líneas de mano y nombres que se permite y lo que está prohibido. Para cada conocido rastreador de IA, el área de prueba busca primero su propio grupo; si no hay ninguno, el grupo aplica a todos los bots, marcados con un asterisco. Sólo una prohibición de todo el rendimiento cuenta como un bloque, es decir, la línea Disallow with a single slash. Las prohibiciones en caminos individuales, como un área interna o un resultado de búsqueda, son normales y no cuestan puntos. Si todos los rastreadores probados están cerrados, la regla es cero de doce puntos; Los individuos están encerrados, con seis. Si el archivo está completamente desaparecido o inalcanzable, nada se considera bloqueado y no se puede leer debido a un error de red, la regla permanece sin deducción, Lo desconocido nunca se convierte en una falta.
Una cerradura puede ser deseada – entonces el resultado es la confirmación
Algunos operadores bloquean deliberadamente a los rastreadores de IA porque no quieren que sus textos fluyan en modelos de lenguaje. Esta es una decisión legítima, y el hallazgo no lo contradice: afirma que el bloque funciona, y que la página no se cita. Si desea tanto protección como visibilidad, puede diferenciar: OAI SearchBot y PerplexityBot se utilizan para la búsqueda y citación, GPTBot y Google-Extended se utilizan para el entrenamiento. Más común que la decisión consciente, sin embargo, es lo inadvertido: los plugins de seguridad y las plantillas copiadas bloquean todos los bots desconocidos, y nadie ha mirado nunca. Para eso es el hallazgo. Compartir es una línea en el archivo; Funciona en la siguiente pista.
- Abra el robots.txt de su dominio en el navegador y busque los nombres de GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot y Google-Extended, así como un grupo para todos los bots con desagrado y corte.
- Decide conscientemente: Visibilidad en las respuestas de IA o protección contra el uso de la capacitación, y distinguir a los rastreadores de búsqueda de los rastreadores de entrenamiento.
- Revise plugins de seguridad y plantillas para bloqueos de bot de manta; Son la causa más común.
- Haga que la página vuelva a revisarse después de un cambio; el robots.txt es recién leído para cada prueba.
