Esta traducción aún no ha sido revisada editorialmente. La versión alemana es la vinculante. Deutsche Fassung →
Arrastre AI en robots.txt: que se bloquea no se cita
Las máquinas de respuesta solo citan lo que se les permite leer a sus rastreadores. Si el robots.txt de un sitio web bloquea GPTBot, OAI-SearchBot, ClaudeBot, PerplejidadBot o Google-Extended con “Disallow: /”, la página no está presente para estos sistemas – independientemente de cómo son buenos contenidos y estructura. El área de verificación lee los robots.txt del dominio e informa cada bloque completo.
- El bloque puede ser una decisión consciente, por ejemplo por razones de copyright. Entonces el hallazgo no es un error, pero la confirmación de que la decisión funciona – que quiere visibilidad AI, lo cancela.
- Muchas cerraduras provienen de plantillas copiadas o presets plugin que bloquean totalmente todos los bots. Compruebe si la cerradura es deseada.
- Cierre los caminos parciales se permite y no cuenta como un bloque: “Desallow: /internal/” deja el contenido público legible.
