Cette traduction n’a pas encore été relue par la rédaction. La version allemande fait foi. Deutsche Fassung →
IA rampeur dans robots.txt: qui verrouille dehors n'est pas cité
Les machines à répondre ne mentionnent que ce que leurs rampeurs sont autorisés à lire. Si les robots.txt d'un site Web bloque GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ou Google-Extended avec --Disallow: /-, la page n'est pas présente pour ces systèmes – indépendamment de la qualité du contenu et de la structure. La zone de contrôle lit les robots.txt du domaine et rapporte chaque bloc complet.
- Le bloc peut être une décision consciente, par exemple pour des raisons de droit d'auteur. Alors la conclusion n'est pas une erreur, mais la confirmation que la décision fonctionne – qui veut la visibilité AI, l'annule.
- De nombreux verrous proviennent de modèles copiés ou de préréglages de plugin qui verrouillent tous les robots. Vérifiez si le verrou est désiré.
- Verrouiller des chemins partiels est autorisé et ne compte pas comme un bloc: -Disallow: /internal/- laisse le contenu public lisible.
