Prüfpunkt ai-crawler-accessZugang und Struktur
Sperrt meine robots.txt die KI-Crawler von ChatGPT, Claude und Perplexity?
Ob eine Website in den Antworten von ChatGPT, Claude oder Perplexity vorkommen kann, entscheidet sich nicht im Text, sondern in einer kleinen Datei am Wurzelverzeichnis: der robots.txt. Sie sagt jedem Crawler, was er lesen darf. Die KI-Anbieter betreiben eigene Crawler mit eigenen Namen — GPTBot und OAI-SearchBot für OpenAI, ClaudeBot für Anthropic, PerplexityBot für Perplexity, Google-Extended für die KI-Nutzung bei Google. Steht für einen dieser Namen oder für alle Bots ein vollständiges Verbot in der Datei, ist die Seite für dieses System nicht vorhanden. Der Prüfbereich GEO liest die robots.txt der Domain und meldet jede vollständige Sperre.
Wie die Prüfung liest, was die Datei sagt
Eine robots.txt besteht aus Gruppen: Jede beginnt mit einer oder mehreren User-agent-Zeilen und nennt danach, was erlaubt und was verboten ist. Der Prüfbereich sucht für jeden bekannten KI-Crawler zuerst dessen eigene Gruppe; gibt es keine, gilt die Gruppe für alle Bots, gekennzeichnet mit einem Stern. Als Sperre zählt nur ein Verbot des gesamten Auftritts, also die Zeile Disallow mit einem einzelnen Schrägstrich. Verbote einzelner Pfade — etwa eines internen Bereichs oder eines Suchergebnisses — sind normal und kosten keine Punkte. Sind alle geprüften Crawler gesperrt, fällt die Regel mit null von zwölf Punkten aus; sind einzelne gesperrt, mit sechs. Fehlt die Datei ganz oder ist sie nicht erreichbar, gilt nichts als gesperrt, und konnte sie wegen eines Netzfehlers nicht gelesen werden, bleibt die Regel ohne Abzug — Unbekanntes wird nie zum Mangel.
Eine Sperre kann gewollt sein — dann ist der Befund die Bestätigung
Manche Betreiber sperren KI-Crawler bewusst, weil sie nicht wollen, dass ihre Texte in Sprachmodelle einfließen. Das ist eine legitime Entscheidung, und der Befund widerspricht ihr nicht: Er stellt fest, dass die Sperre wirkt, und dass die Seite deshalb nicht zitiert wird. Wer beides will, Schutz und Sichtbarkeit, kann differenzieren: OAI-SearchBot und PerplexityBot dienen der Suche und Zitierung, GPTBot und Google-Extended dem Training. Häufiger als die bewusste Entscheidung ist aber die unbemerkte: Sicherheits-Plugins und kopierte Vorlagen sperren pauschal alle unbekannten Bots, und niemand hat je hingesehen. Genau dafür ist der Befund da. Die Freigabe ist eine Zeile in der Datei; sie wirkt beim nächsten Crawl.
So gehen Sie es an
- Öffnen Sie die robots.txt Ihrer Domain im Browser und suchen Sie nach den Namen GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended sowie nach einer Gruppe für alle Bots mit Disallow und Schrägstrich.
- Entscheiden Sie bewusst: Sichtbarkeit in KI-Antworten oder Schutz vor Trainingsnutzung — und unterscheiden Sie Such-Crawler von Trainings-Crawlern.
- Prüfen Sie Sicherheits-Plugins und Vorlagen auf pauschale Bot-Sperren; sie sind die häufigste Ursache.
- Lassen Sie die Seite nach einer Änderung erneut prüfen; die robots.txt wird je Prüfung frisch gelesen.
Weiter im Prüfbereich GEO / KI-Sichtbarkeit
- Was bewirkt sameAs im JSON-LD für die KI-Sichtbarkeit?sameAs verknüpft Organisation oder Person mit bekannten Profilen: Register, Google-Profil, Wikidata, soziale Netzwerke. So erkennen KI-Systeme die Entität.
- Warum muss JSON-LD im Server-HTML stehen und nicht per JavaScript kommen?KI-Crawler führen kein JavaScript aus: Nachgeladenes JSON-LD sehen sie nie. Wie der Prüfbereich Erst-HTML und gerenderten DOM vergleicht.
- Warum sollte der erste Absatz Ihrer Webseite die Frage sofort beantworten?KI-Programme wie ChatGPT zitieren bevorzugt den ersten Absatz einer Seite. Steht dort die direkte Antwort, wird Ihre Website als Quelle genannt.
- Hilft ein FAQ-Bereich meiner Website bei ChatGPT und Google?Ja. Frage-Antwort-Paare sind das beste Material für KI-Antworten. Ein FAQ-Bereich mit Auszeichnung macht Ihre Website leichter zitierbar.
Dieser Prüfpunkt gehört zum Prüfbereich GEO / KI-Sichtbarkeit; dort stehen alle Prüfpunkte im Überblick. Was die Prüfung insgesamt leistet, zeigt die Leistungsseite; wie ein Ergebnis zustande kommt, erklärt das Prüfverfahren. Alle Prüfbereiche im Überblick: Wissensbasis.
Foto: Ferdinand Stöhr, CC0
.jpg){kind=link}