Deze vertaling is nog niet redactioneel gecontroleerd. De Duitse versie is leidend. Deutsche Fassung →
AI crawler in robots.txt: wie sluit wordt niet geciteerd
Antwoordmachines citeren alleen wat hun kruipers mogen lezen. Als de robots.txt van een website blokkeert GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot of Google-Extended met Het controlegebied leest de robots.txt van het domein en rapporteert elk volledig blok.
- Het blok kan een bewuste beslissing zijn, bijvoorbeeld om auteursrechtelijke redenen. Dan is de bevinding is niet een fout, maar de bevestiging dat de beslissing werkt, wie wil AI zichtbaarheid, annuleert het.
- Veel sloten zijn afkomstig van gekopieerde sjablonen of plugin presets die dekenly vergrendelen alle bots. Controleer of het slot gewenst is.
- Gedeeltelijke paden vergrendelen is toegestaan en telt niet mee als blok: Disallow: /innerlijk/.
