Cette traduction n’a pas encore été relue par la rédaction. La version allemande fait foi. Deutsche Fassung
GEO / IA
Mes robots.txt bloquent-ils les rampeurs d'IA de ChatGPT, Claude et Perplexity?
Si un site Web peut apparaître dans les réponses de ChatGPT, Claude ou Perplexity n'est pas décidé dans le texte, mais dans un petit fichier au répertoire racine: les robots.txt. Elle dit à chaque rampant ce qu'il faut lire. Les fournisseurs d'IA exploitent leurs propres rampeurs avec leurs propres noms — GPTBot et OAI SearchBot for OpenAI, ClaudeBot for Anthropic, PerplexityBot for Perplexity, Google Extended for AI use on Google. Si l'un de ces noms ou tous les robots est complètement interdit dans le fichier, la page de ce système n'existe pas. La zone de contrôle GEO lit les robots.txt du domaine et rapporte chaque bloc complet.
Comment la vérification lit ce que dit le fichier
Un robot.txt se compose de groupes: chacun commence par une ou plusieurs lignes utilisateur-agent et nomme ce qui est autorisé et ce qui est interdit. Pour chaque rampeur d'IA connu, la zone d'essai recherche d'abord son propre groupe; s'il n'y en a pas, le groupe s'applique à tous les robots, marqués d'un astérisque. Seule une interdiction de la performance entière compte comme un bloc, c'est-à-dire la ligne Interdire avec une seule barre oblique. Les interdictions sur les voies individuelles, telles qu'une zone intérieure ou un résultat de recherche, sont normales et ne coûtent aucun point. Si tous les rampeurs testés sont verrouillés, la règle est zéro de douze points; Les individus sont verrouillés, avec six. Si le fichier est complètement manquant ou inaccessible, rien n'est considéré verrouillé et ne peut être lu en raison d'une erreur de réseau, la règle reste sans déduction, L'inconnu ne devient jamais un manque.
Un verrou peut être recherché – alors le résultat est la confirmation
Certains opérateurs bloquent délibérément les rampeurs d'IA parce qu'ils ne veulent pas que leurs textes s'écoulent dans les modèles de langue. C'est une décision légitime, et la conclusion ne la contredit pas: il affirme que le bloc fonctionne, et que la page n'est donc pas citée. Si vous voulez à la fois protection et visibilité, vous pouvez différencier: OAI SearchBot et PerplexityBot sont utilisés pour la recherche et la citation, GPTBot et Google-Extended sont utilisés pour la formation. Plus commun que la décision consciente, cependant, est le non remarqué: plugins de sécurité et modèles copiés bloquent tous les robots inconnus, et personne n'a jamais regardé. C'est à ça qu'il sert. Partage est une ligne dans le fichier; Ça marche sur la prochaine rampe.
- Ouvrez les robots.txt de votre domaine dans le navigateur et recherchez les noms GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot et Google-Extended, ainsi qu'un groupe pour tous les robots avec interdiction et slash.
- Décider consciemment: Visibilité dans les réponses à l'IA ou protection contre l'utilisation de la formation — et distinguer les rampeurs de recherche des rampeurs de formation.
- Vérifiez les plugins de sécurité et les modèles pour les serrures de bot couverture; Ils sont la cause la plus courante.
- Faites vérifier la page après un changement; les robots.txt sont fraîchement lus pour chaque test.
