Lesen KI-Assistenten meine Website, und was bremst sie dabei?

Die KI-Crawler führen kein JavaScript aus, Google tut es mit Verzögerung

Vercel hat im Dezember 2024 das Verhalten der Crawler in seinem Netz untersucht und festgestellt, dass keiner der großen KI-Crawler JavaScript ausführt, genannt sind die Crawler von OpenAI, Anthropic, Meta, ByteDance und Perplexity; Inhalte, die erst im Browser durch ein Skript entstehen, können sie nicht lesen. Das betrifft Systeme, die ihre Seiten als leeres Gerüst ausliefern und den Text nachladen. Google geht anders vor: Es verarbeitet JavaScript in drei Phasen, Crawlen, Rendern und Indexieren, und stellt Seiten für das Rendern in eine Warteschlange. Google schreibt dazu, dass eine Seite dort einige Sekunden bleiben kann, aber auch länger, und dass ein Chromium ohne Oberfläche die Seite erst darstellt, wenn die Ressourcen es zulassen. Für Sie heißt das: Was im HTML steht, ist für Google sofort und für KI-Crawler überhaupt da. Was ein Skript aufbaut, ist für Google später da und für die KI-Crawler nach dem Stand von Dezember 2024 gar nicht.

Viel Abruf, wenig Rückfluss: das Verhältnis, das Cloudflare misst

Der Netzbetreiber Cloudflare veröffentlichte im August 2025 das Verhältnis von Seitenabrufen eines Dienstes zu den Besuchern, die er zurückschickt. Für Juli 2025 lag es bei Google bei 5,4 Abrufen je weitergeleitetem Besucher, bei OpenAI bei 1.091, bei Perplexity bei 195 und bei Anthropic bei 38.065. Googlebot machte dabei 39 Prozent des gesamten Verkehrs von Such- und KI-Crawlern aus. Diese Verhältnisse gelten für das Netz von Cloudflare insgesamt; Cloudflare schreibt in einem Beitrag vom Juli 2025 dazu, dass native Apps keinen Referer senden und die Verhältnisse deshalb überzeichnet sein können, ohne zu wissen, um wie viel. Sie zeigen aber die Mechanik: KI-Dienste holen Ihre Seiten hundert- bis zehntausendfach häufiger, als sie Ihnen Besucher bringen. Jeder dieser Abrufe kostet Ihren Server Rechenzeit wie der Abruf durch einen Menschen. Ob das Ihren Server bremst, hängt von seiner Reserve ab; ein geteiltes Hosting-Paket mit wenig Rechenleistung spürt Hunderte zusätzliche Abrufe am Tag eher als ein eigener Server. Das ist eine Einschätzung aus der Mechanik, keine Messung.

Ein Server, der schnell antwortet, bekommt mehr Abrufe von Google und bleibt für KI-Crawler lesbar

Google beschreibt in seiner Dokumentation zum Crawl-Budget, dass die Zahl gleichzeitiger Verbindungen zu einer Website steigt, wenn der Server eine Zeit lang zügig antwortet, und sinkt, wenn Antwortzeiten länger werden; Google crawlt dann weniger. Dieselbe Serverantwortzeit misst der Wert TTFB, die Zeit bis zum ersten Byte, für den Google 0,8 Sekunden als gut und mehr als 1,8 Sekunden als schlecht nennt; TTFB ist selbst kein Core Web Vital. Für KI-Crawler gibt es keine veröffentlichte Grenze, ab der sie einen Abruf aufgeben. Was sich belegen lässt, ist das Zusammenspiel: Ein Server, der unter Last langsam wird, antwortet Google, den KI-Crawlern und Ihren Kunden gleichzeitig langsam, weil alle über dieselbe Leitung kommen. Ein Zwischenspeicher, der fertige Seiten ausliefert, statt jede Anfrage neu zu berechnen, hilft allen dreien zugleich; der Artikel zur Serverantwortzeit in diesem Prüfbereich beschreibt die Hebel.

Was Sie für lesbare Seiten tun: Text im HTML, wenige Skripte, schnelle Antwort

Der wirksamste Schritt ist, dass Ihr Haupttext, Ihre Preise und Ihre Kontaktdaten im ausgelieferten HTML stehen. Viele Systeme bieten dafür eine Darstellung auf dem Server (Server-Side Rendering); fragen Sie Ihre Agentur, ob Ihres dazugehört. Der zweite Schritt sind die Skripte von Dritten: Das HTTP Archive führt 2024 schlechte Reaktionszeiten auf dem Telefon vor allem auf Skripte von Dritten zurück, genannt sind Verhaltensmessung, Consent-Dienste und CDN-Skripte; für KI-Crawler sind sie ohne Belang, weil sie nicht ausgeführt werden, für Google und Ihre Besucher kosten sie Zeit. Der dritte Schritt ist die Serverantwort: ein Zwischenspeicher und ein Hosting-Paket mit Reserve. Alle drei Schritte verbessern zugleich die Werte, die Google als Core Web Vitals misst.

Was im November 2026 offen ist

Die Zahlen oben stammen aus zwei Veröffentlichungen von Netzbetreibern, Vercel vom Dezember 2024 und Cloudflare vom August 2025, zuletzt geändert im Juli 2026. Beide beschreiben ihr eigenes Netz; Ihre Website kann anders liegen. Ob die KI-Crawler inzwischen JavaScript ausführen, hat keiner der Anbieter öffentlich erklärt; OpenAIs Dokumentation der Bots sagt dazu nichts. Was sich prüfen lässt, ist Ihr eigener Bestand: welche Crawler kommen, wie oft, und was sie bekommen.

Tipps aus der Praxis

• Ein Abruf mit der Kennung eines Crawlers zeigt, was dieser bekommt: Entwickler nutzen dafür den Befehl curl mit dem Parameter -A und der Kennung GPTBot. Wenn das Ergebnis ein fast leeres HTML mit Skriptverweisen ist, lädt Ihre Seite ihren Inhalt nach.
• Ein Abruf durch ChatGPT-User richtet sich nach Aussage von OpenAI möglicherweise nicht nach der robots.txt. Sperren in der robots.txt halten das Training fern, und nicht unbedingt den einzelnen Nutzer, der Ihre Seite im Chat öffnen lässt.
• Öffnungszeiten, Preise und Adresse gehören als Text in die Seite, in kein Bild und in kein nachgeladenes Modul. Ein Crawler ohne JavaScript liest den Text.