Darf ich KI-Crawler sperren, und was gebe ich dabei auf?

Training, Suche und Nutzerabruf lassen sich getrennt sperren

Was eine Sperre bewirkt, hängt vom Namen ab, den Sie sperren, und die Anbieter haben ihre Crawler nach Zweck getrennt. OpenAI betreibt GPTBot für das Training, OAI-SearchBot für die Suche in ChatGPT und ChatGPT-User für Abrufe, die ein Nutzer im Gespräch auslöst. OpenAI schreibt, die Einstellungen seien voneinander unabhängig: Wer GPTBot sperrt und OAI-SearchBot erlaubt, bleibt in der ChatGPT-Suche sichtbar; wer OAI-SearchBot sperrt, wird in den Suchantworten nicht mehr gezeigt, kann aber noch als Navigationslink erscheinen. Anthropic nennt mit Stand April 2026 ClaudeBot für das Training, Claude-SearchBot für die Suche und Claude-User für Nutzerabrufe und sagt zu, die robots.txt zu beachten. Perplexity betreibt PerplexityBot für die Suche und erklärt, ihn nicht für das Training zu nutzen. Google hat für die KI-Übersichten keinen eigenen Crawler; dort zählt, was Sie Googlebot erlauben. Google-Extended ist ein Schalter in der robots.txt, der das Training der Gemini-Modelle und das Einspeisen Ihrer Inhalte in deren Antworten betrifft; auf Aufnahme und Ranking in der Google-Suche wirkt er nach Googles Angabe nicht. Ob Ihre Texte in Modelle einfließen und ob Ihre Seiten in Antworten zitiert werden, lässt sich damit je Anbieter mit einer eigenen Gruppe in der robots.txt getrennt beantworten.

Das Training zu sperren kostet keinen Besucher; die Suche zu sperren kostet einen kleinen, wachsenden Kanal

Die Kosten einer Sperre lassen sich beziffern, getrennt nach Zweck. Aus dem Training kommt kein Besucher; das Modell lernt aus Ihrem Text und nennt Sie dafür nicht. Cloudflare misst, dass in den zwölf Monaten bis Juli 2025 80 Prozent des KI-Crawlings dem Training dienten, und stellt die Abrufe den weitergeleiteten Besuchern gegenüber: OpenAI rief im Juli 2025 rund 1.091 Seiten je Besucher ab, Anthropic rund 38.066, Google rund 5. Cloudflare hat am 1. Juli 2025 angekündigt, die Voreinstellung für seine Kunden auf das Sperren von KI-Crawlern umzustellen, solange diese nicht für Inhalte zahlen. Die Suche zu sperren ist eine andere Rechnung. Besucher aus KI-Antworten sind heute wenige, bei Ahrefs im Juni 2025 0,5 Prozent des Traffics der letzten 30 Tage, aber nach den Daten von Semrush und Ahrefs überdurchschnittlich abschlussbereit, als Anbieterzahlen. Wer die Such-Crawler sperrt, verzichtet auf diesen Kanal; wer nur die Trainings-Crawler sperrt, verzichtet auf nichts Messbares. Verlage und Anbieter, deren Texte selbst das Produkt sind, rechnen anders als ein Unternehmen, dessen Website ein Vertriebsweg ist.

Seit August 2025 müssen die Anbieter Ihren Vorbehalt erkennen

Die Pflicht auf der Gegenseite steht in der EU-Verordnung über künstliche Intelligenz, Verordnung (EU) 2024/1689. Ihr Artikel 53 gilt seit 2. August 2025 für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, also etwa für die Hersteller der Modelle hinter ChatGPT, Claude, Gemini und Copilot. Sie müssen eine Strategie zur Einhaltung des Urheberrechts haben, die Nutzungsvorbehalte nach Artikel 4 Absatz 3 der Richtlinie 2019/790 ermittelt und beachtet, auch mit dem Stand der Technik, und eine Zusammenfassung der Trainingsinhalte veröffentlichen. Der Verhaltenskodex vom Juli 2025 macht daraus Zusagen: robots.txt lesen und befolgen und Rechteinhabern öffentlich mitteilen, welche Crawler ein Anbieter einsetzt. Ein Punkt darin betrifft Sie unmittelbar: Anbieter, die auch eine Suchmaschine betreiben, werden ermutigt, dafür zu sorgen, dass eine Sperre fürs Training nicht dazu führt, dass Ihre Seiten aus dem Suchindex fallen; das ist eine Empfehlung im Kodex, keine Zusage. Der Kodex ist freiwillig; wer ihn unterzeichnet, bindet sich.

Nutzerabrufe folgen der robots.txt nicht, und ein Anbieter wurde beim Umgehen ertappt

Zwei Einschränkungen gehören zu jeder Sperre. Die erste nennen die Anbieter selbst: Ruft ein Nutzer im Chat eine bestimmte Adresse auf, holen ChatGPT-User und Perplexity-User die Seite, und zwar nach OpenAI „robots.txt rules may not apply“ und nach Perplexity „generally ignores robots.txt rules“. Eine Sperre nimmt Ihre Seite aus Index und Training, nicht aus einem Gespräch, in das jemand Ihre Adresse einfügt. Die zweite Einschränkung hat der Netzbetreiber Cloudflare im August 2025 dokumentiert. Cloudflare legte neue, nirgends verlinkte Domains an, untersagte in der robots.txt jeden Zugriff und sperrte die deklarierten Crawler von Perplexity zusätzlich in der Firewall. Perplexity konnte die Inhalte trotzdem wiedergeben; die Abrufe kamen mit dem Kennzeichen eines gewöhnlichen Browsers und aus IP-Bereichen außerhalb der von Perplexity veröffentlichten Liste, und Cloudflare beobachtete dieses Muster über zehntausende Domains mit Millionen Anfragen je Tag. Cloudflare strich Perplexity aus seiner Liste verifizierter Bots; ChatGPT-User las im selben Test die robots.txt und hielt sich an die Sperre. Wer Inhalte wirklich zurückhalten will, braucht zusätzlich einen Bot-Schutz auf dem Server, der dann leicht mehr sperrt als gewollt.

2027 wandert die Steuerung vom Crawler-Namen zum Nutzungszweck

Die Liste der Crawler-Namen wird nicht lange die Form bleiben, in der Sie entscheiden. Microsoft hat am 30. Oktober 2026 angekündigt, die bisherigen Angaben NoArchive und NoCache ab 1. Februar 2027 durch zwei Präferenzen zu ersetzen: eine für das Training und eine für das Grounding, also die Nutzung Ihrer Seiten in Antworten von Bing, Copilot und Microsoft 365. Beide stehen ohne Angabe auf Erlaubt. Google kündigt in seiner Crawler-Dokumentation für Anfang 2027 die Unterstützung von AIPREF an, eines gemeinsamen maschinenlesbaren Signals für die Trainingspräferenz. Cloudflare schreibt seit September 2025 für über 3,8 Millionen Domains seiner Kunden mit verwalteter robots.txt die Signale search, ai-input und ai-train in die Datei, dort mit Suche erlaubt und Training untersagt; für ai-input setzt Cloudflare keinen Wert. Die Richtung ist bei allen dieselbe: Sie erklären einmal, wofür Ihre Inhalte verwendet werden dürfen, und jeder Anbieter liest dieselbe Erklärung. Der Prüfbereich GEO / KI liest heute die robots.txt und meldet, welche der bekannten KI-Crawler vollständig gesperrt sind und ob Ihr Server erlaubte Crawler abweist; die Zweck-Signale liest er noch nicht.

Tipps aus der Praxis

• Eine Sperre für „alle Bots“ trifft auch die Suchmaschinen. Wer nur KI sperren will, schreibt die Namen aus und lässt die Stern-Gruppe offen.
• Die großen KI-Crawler führen kein JavaScript aus; das hat Vercel im Dezember 2024 an seinem Netz gemessen. Was Sie ihnen erlauben, sehen sie nur, wenn es im ausgelieferten HTML steht.