Leistungen · GEO / KI-Sichtbarkeit
KI-Crawler in der robots.txt: wer aussperrt, wird nicht zitiert
Antwortmaschinen zitieren nur, was ihre Crawler lesen dürfen. Sperrt die robots.txt einer Website GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot oder Google-Extended mit „Disallow: /", ist die Seite für diese Systeme nicht vorhanden — unabhängig davon, wie gut Inhalt und Struktur sind. Der Prüfbereich liest die robots.txt der Domain und meldet jede vollständige Sperre.
Was dazu geprüft wird
1 Prüfpunkte aus dem GEO-Regelwerk des Prüfdienstes — die Liste stammt aus dem Messkern, nicht aus diesem Text.
- Zugang für KI-Crawler · ai-crawler-access
Jeder dieser Punkte steht mit Erklärung in der vollständigen Prüfpunktliste.
Worauf es in der Praxis ankommt
Die Sperre kann eine bewusste Entscheidung sein, etwa aus Urheberrechtsgründen. Dann ist der Befund kein Fehler, sondern die Bestätigung, dass die Entscheidung wirkt — wer KI-Sichtbarkeit will, hebt sie auf.
Viele Sperren stammen aus kopierten Vorlagen oder Plugin-Voreinstellungen, die pauschal alle Bots aussperren. Prüfen Sie, ob die Sperre gewollt ist.
Teilpfade sperren ist erlaubt und zählt nicht als Sperre: „Disallow: /intern/" lässt den öffentlichen Inhalt lesbar.
Häufige Fragen
Reicht es, Google-Extended zu erlauben?
Google-Extended steuert nur, ob Google Inhalte für seine KI-Modelle nutzt. ChatGPT, Claude und Perplexity haben eigene Crawler mit eigenen Namen; jeder braucht seine eigene Freigabe oder eine Freigabe für alle.
Was, wenn es keine robots.txt gibt?
Dann ist nichts gesperrt — alle Crawler dürfen lesen. Der Prüfbereich vergibt die vollen Punkte. Für die Indexierung ist eine robots.txt mit Sitemap-Verweis trotzdem sinnvoll.
Weitere Themen aus GEO / KI-Sichtbarkeit
- Antwort zuerst schreiben: warum KI-Systeme den ersten Absatz zitieren
- Frage-Antwort-Blöcke: das Format, das Antwortsysteme bevorzugen
- Reichhaltiges Schema: welche Auszeichnung KI-Systeme wirklich nutzen
- Extrahierbare Abschnitte: Inhalte, die man herauslösen kann
- Autor und Herausgeber nennen: wer für eine Aussage einsteht
- Aktualität zeigen: Datumsangaben, die etwas wert sind
- Semantische Struktur: header, nav, main, footer richtig einsetzen
- Fragen als Überschriften: die Formulierung, nach der gesucht wird
- Gegliederte Abschnitte: Textlänge, die sich verarbeiten lässt
- Wie KI-Systeme Websites zitieren — und was das für Ihre Seiten heißt
