Deze vertaling is nog niet redactioneel gecontroleerd. De Duitse versie is leidend. Deutsche Fassung
GEO / AI
Blokkeert mijn robots.txt de AI kruipers van ChatGPT, Claude en Perplexity?
Of een website kan verschijnen in de antwoorden van ChatGPT, Claude of Perplexity wordt niet bepaald in de tekst, maar in een klein bestand op de root directory: de robots.txt. Ze vertelt elke crawler wat ze moet lezen. De AI providers bedienen hun eigen crawlers met hun eigen namen GPTBot en OAI SearchBot voor OpenAI, ClaudeBot voor Anthropic, PerplexityBot voor Perplexity, Google Extended voor AI gebruik op Google. Als een van deze namen of alle bots volledig verboden is in het bestand, bestaat de pagina voor dit systeem niet. Het GEO controlegebied leest de robots.txt van het domein en rapporteert elk volledig blok.
Hoe de controle leest wat het bestand zegt
Een robot.txt bestaat uit groepen: elk begint met een of meer user-agent lijnen en namen wat toegestaan is en wat verboden is. Voor elke bekende AI crawler, het testgebied eerst zoekt naar zijn eigen groep; als er geen, de groep is van toepassing op alle bots, gemarkeerd met een asterisk. Alleen een verbod op de volledige prestaties telt als een blok, dat wil zeggen de lijn Disallow met een enkele slash. Verboden op individuele paden Als alle geteste kruipers vergrendeld zijn, is de regel nul van twaalf punten; Individuen zijn opgesloten, met zes. Als het bestand volledig ontbreekt of onbereikbaar is, wordt niets beschouwd als vergrendeld en kan niet worden gelezen als gevolg van een netwerkfout, de regel blijft zonder aftrek, Het onbekende wordt nooit een gebrek.
Een slot kan worden gewenst
Sommige operators blokkeren opzettelijk AI crawlers omdat ze niet willen dat hun teksten naar taalmodellen vloeien. Dit is een legitieme beslissing, en de bevinding is niet in tegenspraak: hij stelt dat het blok werkt, en dat de pagina dus niet wordt geciteerd. Als u zowel bescherming als zichtbaarheid wilt, kunt u onderscheid maken: OAI SearchBot en PerplexityBot worden gebruikt voor zoeken en citeren, GPTBot en Google-Extended worden gebruikt voor training. Meer dan de bewuste beslissing, echter, is de onopgemerkte: security plugins en gekopieerde templates blokkeren alle onbekende bots, en niemand heeft ooit gekeken. Daar is de vondst voor. Delen is een regel in het bestand; Het werkt bij de volgende kruip.
- Open de robots.txt van uw domein in de browser en zoek naar de namen GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot en Google-Extended, evenals een groep voor alle bots met dislow en slash.
- Beslis bewust: Zichtbaarheid in AI-responsen of bescherming tegen trainingsgebruik en onderscheid zoekscrawlers van trainingscrawlers.
- Controleer beveiligingsplugins en sjablonen voor dekenbotsloten; Zij zijn de meest voorkomende oorzaak.
- Laat de pagina na een verandering opnieuw controleren; de robots.txt wordt voor elke test vers gelezen.
