Zum Artikel

Im Druckfenster können Sie auch als PDF speichern.

Prüfservice & Prüfsiegel

Wissen › Indexierung › robots.txt und Sitemap

Stand 19. November 2026

Online: euid.com/wissen/technik/robots-und-sitemap/robots-txt-fallen-css-js-gesperrt

Prüfpunkt robots-trap

Welche Fallen in der robots.txt schaden der Indexierung?

Die robots.txt sagt Suchmaschinen, welche Bereiche sie nicht abrufen sollen. Zwei Arten von Einträgen richten dabei mehr Schaden an, als sie verhindern. Erstens Sperren für Stylesheets, Skripte und Asset-Ordner: Google rendert Seiten wie ein Browser, und ohne diese Dateien sieht es eine zerfallene Darstellung, bewertet die Mobilfreundlichkeit falsch und findet nachgeladene Inhalte nicht. Zweitens Direktiven, die Google nicht liest: Noindex, Nofollow oder Crawl-delay in der robots.txt; Google hat die Unterstützung dafür am 1. September 2019 beendet, und die Zeilen gaukeln eine Sicherheit vor, die nicht besteht. Der Prüfbereich Indexierung liest die robots.txt und meldet beides.

Der Standard legt Allow und Disallow fest, weitere Zeilen liest jeder Crawler nach eigener Regel

RFC 9309, der Internet-Standard für die robots.txt vom September 2022, legt die Zeilen User-agent, Allow und Disallow fest: für welchen Crawler eine Regel gilt, was er abrufen darf und was nicht. Weitere Zeilen darf ein Crawler lesen, er muss es nicht. Deshalb wirkt dieselbe Zeile bei einem Dienst und beim anderen nicht.

Google nennt als unterstützte Felder User-agent, Allow, Disallow und Sitemap und schreibt, dass andere Felder wie Crawl-delay nicht unterstützt werden; ungültige Zeilen übergeht es. Crawl-delay soll die Abrufe eines Crawlers bremsen. Bing hat 2012 beschrieben, dass sein Crawler diese Zeile beachtet, und rät von hohen Werten ab, weil er dann weniger Seiten abruft. Eine Zeile Noindex kommt weder im Standard noch in Googles Liste vor.

Eine gesperrte Seite kann im Suchergebnis stehen, nur ohne Beschreibung

Eine Sperre in der robots.txt verbietet das Abrufen, nicht das Anzeigen. Google schreibt: Eine gesperrte Seite kann trotzdem in den Index kommen, wenn andere Websites auf sie verlinken; im Suchergebnis steht dann die Adresse, aber keine Beschreibung. Die Search Console führt solche Fälle als „Indexiert, obwohl durch robots.txt-Datei blockiert“.

Daraus entsteht eine Falle aus zwei Teilen: Wer eine Seite sperrt und ihr zugleich ein noindex mitgibt, erreicht das Gegenteil des Gewollten. Google liest das noindex nur beim Abruf der Seite, und den Abruf verbietet die Sperre. Für gesperrte Skriptdateien gilt nach Google: Es führt sie nicht aus, und was sie nachladen, kommt bei Google nicht an.

Ohne die Sperren darf Google dieselben Dateien laden wie der Browser Ihrer Besucher

Google hat am 27. Oktober 2014 in seinen technischen Richtlinien festgehalten: Wer das Abrufen von Skript- und Stildateien verbietet, verschlechtert unmittelbar, wie gut Google die Inhalte darstellt und aufnimmt, und das kann zu schlechteren Platzierungen führen. Die heutige Einführung zur robots.txt sagt es so: Dateien, ohne die der Crawler die Seite schwerer versteht, sollen nicht gesperrt sein.

Sind die Zeilen entfernt, darf Google beim nächsten Abruf dieselben Dateien laden wie ein Browser. Das Ergebnis lässt sich ansehen: Die URL-Prüfung der Search Console zeigt nach „Live-URL testen“ unter „Getestete Seite anzeigen“ ein Bildschirmfoto der Seite, wie Google sie darstellt.

Jede Disallow-Zeile ist öffentlich lesbar

Die robots.txt kann jeder im Browser öffnen. RFC 9309 hält in seinen Sicherheitshinweisen fest: Wer Pfade in der robots.txt aufführt, macht sie öffentlich und damit auffindbar, und die Datei ersetzt keine wirksamen Schutzmaßnahmen. Eine Zeile wie Disallow: /intern/ oder Disallow: /backup/ nennt also genau die Ordner, die niemand finden soll.

Crawler, die sich an die Regeln halten, rufen sie nicht ab; jeder andere kann die Adresse eintippen. Google nennt für Seiten, die nicht in die Suche sollen, zwei Wege: ein noindex auf der Seite oder ein Passwort. Was vertraulich ist, gehört hinter eine Anmeldung.

Eine pauschale Sperre gilt auch für die Such-Crawler der KI-Dienste

Die Crawler der KI-Anbieter lesen dieselbe Datei, und dadurch kommen zwei Fallen hinzu. Die erste: Ein Disallow: / unter User-agent: *, etwa ein Rest aus dem Testbetrieb, gilt auch für die Such-Crawler der KI-Dienste. OpenAI schreibt, dass eine Website, die OAI-SearchBot ausschließt, in den Suchantworten von ChatGPT nicht gezeigt wird; Anthropic schreibt, dass seine Crawler die robots.txt beachten.

Die zweite: Ein Crawler befolgt nur die Gruppe, die am genauesten zu seinem Namen passt; so beschreiben es Google für seine Crawler und Bing für Bingbot. Wer für einen KI-Crawler eine eigene Gruppe anlegt, sollte dort deshalb alle Regeln wiederholen, die für ihn gelten sollen, weil die allgemeine Gruppe unter dem Stern für ihn dann entfällt. Die Angabe Google-Extended betrifft nur Googles KI-Modelle und ändert laut Google nichts an der Aufnahme in die Suche.

Was als Falle gilt

Als Rendering-Falle zählen Sperren, deren Pfad auf Stildateien oder Skripte endet, sowie Sperren typischer Asset-Ordner: wp-content und wp-includes bei WordPress, assets, static, css, js, images, media, fileadmin und typo3conf bei anderen Systemen. Eine Sperre des internen Bereichs, der Suche oder eines Warenkorbs ist keine Falle und wird nicht genannt. Als Zeilen, die Google nicht liest, gelten Noindex, Nofollow und Crawl-delay.

Crawl-delay beachtet Bing, dort bremst die Zeile die Abrufe. Google hat die inoffizielle Unterstützung für Noindex in der robots.txt 2019 eingestellt; wer eine Seite aus dem Index halten will, braucht ein Meta-Tag oder eine Kopfzeile auf der Seite selbst. Der Befund nennt die betroffenen Zeilen. Er ändert den Punktwert nicht, weil das Regelwerk idx-v1 unverändert bleibt; er erscheint im Bericht und in der Aufgabenliste.

Warum die Sperren meist aus alten Zeiten stammen

Vor 2015 galt es als guter Stil, alles außer dem Inhalt zu sperren, um Crawl-Budget zu sparen. Seit Google Seiten vollständig rendert, ist das Gegenteil richtig: Alles, was zur Darstellung gehört, muss abrufbar sein. Viele robots.txt-Dateien enthalten die alten Einträge trotzdem noch, weil sie aus Vorlagen kopiert und nie überprüft wurden.

Die Korrektur ist das Entfernen der Zeilen; wer einzelne Verzeichnisse wirklich schützen muss, tut das über Zugriffsrechte, nicht über die robots.txt. Für Noindex-Absichten gehört die Anweisung auf die Seite: als Meta-Tag im Kopf oder als X-Robots-Tag-Kopfzeile des Servers.

So gehen Sie es an

  1. Entfernen Sie Sperren für Ordner und Dateien, die zur Darstellung gehören: CSS, JS, Bilder, Asset-Ordner.
  2. Ersetzen Sie Noindex-Zeilen in der robots.txt durch ein Meta-Tag robots mit noindex auf den betreffenden Seiten.
  3. Prüfen Sie mit dem URL-Prüftool der Google Search Console, ob die gerenderte Ansicht vollständig ist.
  4. Halten Sie die robots.txt kurz: Sitemap-Verweis, echte Ausschlüsse, sonst nichts.

Tipps aus der Praxis

  • Groß- und Kleinschreibung zählt im Pfad: Disallow: /Intern/ sperrt /intern/ nicht. Prüfen Sie jede Sperre gegen die Schreibweise in der Adresszeile.
  • Eine Sperre ohne Schrägstrich am Ende greift weiter, als sie aussieht: Disallow: /bild sperrt auch /bilder/ und /bildung.html. Mit Schrägstrich, also Disallow: /bild/, trifft sie nur den Ordner.
  • Hat Ihre robots.txt eigene Gruppen für einzelne Crawler, lesen Sie jede Gruppe so, als gäbe es die anderen nicht. Fehlt in einer Gruppe eine Sperre, die unter dem Stern steht, gilt sie für diesen Crawler nicht.
  • Bei Baukastensystemen wie Wix lässt sich die robots.txt laut Google oft nicht direkt bearbeiten. Suchen Sie dann in den Einstellungen des Systems nach der Sichtbarkeit für Suchmaschinen.
  • Übernehmen Sie keine robots.txt aus einer Vorlage oder von einer anderen Website. Zu jeder Zeile soll Ihre Agentur sagen können, wozu sie da ist.

Häufige Fragen

Spart die Sperre von Bildern und Skripten nicht Crawl-Budget?
Nein, sie kostet Sichtbarkeit. Google rendert Seiten und braucht die Ressourcen dafür. Gesperrte Skripte können dazu führen, dass nachgeladene Inhalte gar nicht im Index landen.
Wie halte ich eine Seite dann aus dem Index?
Mit einem Meta-Tag robots noindex im Kopf der Seite oder mit der Kopfzeile X-Robots-Tag. Beides liest Google beim Abruf der Seite. Deshalb darf die Seite dafür nicht per robots.txt gesperrt sein.
Ändert der Befund meinen Punktwert?
Nein. Er ist ein Hinweis ohne Punktwirkung, damit ausgestellte Siegel ihre Bedeutung behalten. Er erscheint im Bericht und in der Aufgabenliste.

Was gehört in eine robots.txt und was nicht?

In eine robots.txt gehören wenige Zeilen: für wen die Regeln gelten, welche Bereiche Crawler nicht abrufen sollen und wo die Sitemap liegt. Die Website eines kleinen Unternehmens kommt mit vier Zeilen aus. Nicht hinein gehören Sperren für Stil- und Skriptdateien, Anweisungen wie Noindex, die Google dort nicht liest, und Pfade, die geheim bleiben sollen, denn die Datei kann jeder öffnen. Fehlt die Datei ganz, nimmt Google an, dass es keine Einschränkungen gibt.

Die Zeilen, die Google liest

Google liest diese Felder: User-agent sagt, für welchen Crawler die folgenden Regeln gelten; der Stern steht für alle. Disallow nennt einen Pfad, den der Crawler nicht abrufen soll. Allow nimmt einen Teil davon wieder aus. Sitemap nennt die vollständige Adresse der Sitemap und steht unabhängig von den Gruppen an beliebiger Stelle.

Andere Felder liest Google nicht, ungültige Zeilen übergeht es. Was keine Disallow-Zeile trifft, darf abgerufen werden. Kommentare beginnen mit einer Raute. Die Datei muss robots.txt heißen, als Textdatei in UTF-8 gespeichert sein und im Hauptverzeichnis liegen.

Wie ein Crawler die Regeln anwendet

Die Datei gilt nur für den Host, das Protokoll und den Port, unter dem sie liegt: Die robots.txt von www.ihre-domain.at regelt nichts für shop.ihre-domain.at. Treffen mehrere Regeln auf eine Adresse zu, gilt die mit dem längsten Pfad; sind zwei gleich lang, gilt nach dem Standard RFC 9309 die Erlaubnis.

Pfade unterscheiden Groß- und Kleinschreibung und gelten ab dem Anfang der Adresse: Disallow: /suche trifft auch /suche-und-finde.html. Hat ein Crawler eine eigene Gruppe, liest er bei Google die allgemeine Gruppe unter dem Stern nicht mehr. Google liest höchstens 500 KiB der Datei und hält sie in der Regel bis zu 24 Stunden im Zwischenspeicher.

Was sinnvoll gesperrt wird

Google nennt als Zweck der Datei vor allem, den Server vor zu vielen Abrufen zu bewahren. Sinnvoll sind deshalb Sperren für Bereiche, die viele Adressen ohne eigenen Inhalt für die Suche erzeugen: die Ergebnisseiten der internen Suche, den Warenkorb, die Kasse. Bei einer Website mit einigen Dutzend Seiten ist oft gar keine Sperre nötig. Dann besteht die Datei aus der Gruppe für alle Crawler und der Sitemap-Zeile.

Was nicht hineingehört

Sperren für Ordner mit Stil- und Skriptdateien: Google braucht diese Dateien, um die Seite darzustellen. Zeilen wie Noindex oder Crawl-delay: Google liest sie nicht, und ein noindex gehört auf die Seite selbst.

Pfade zu vertraulichen Bereichen: RFC 9309 hält fest, dass aufgeführte Pfade öffentlich und damit auffindbar sind und dass die Regeln keine Zugriffskontrolle sind. Und Sperren für Seiten, die aus der Suche verschwinden sollen: Google kann eine gesperrte Adresse trotzdem aufnehmen, wenn andere Websites auf sie verlinken.

Beispiele

robots.txt einer Firmenwebsite

Nicht erfüllt

User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10

Erfüllt

User-agent: *
Disallow: /suche/
Disallow: /warenkorb/

Sitemap: https://www.ihre-domain.at/sitemap.xml

Die erste Fassung sperrt den Ordner mit Stil- und Skriptdateien, nennt einen vertraulichen Pfad öffentlich und enthält zwei Zeilen, die Google nicht liest. Die zweite sperrt zwei Bereiche ohne eigenen Inhalt für die Suche und nennt die Sitemap.

So gehen Sie es an

  1. Rufen Sie ihre-domain.at/robots.txt auf und gehen Sie die Datei Zeile für Zeile durch: Zu jeder Sperre soll jemand sagen können, wozu sie da ist.
  2. Lassen Sie nach jeder Änderung prüfen, ob Startseite, Stildateien und Skripte weiter abgerufen werden dürfen.

Häufige Fragen

Braucht jede Website eine robots.txt?
Nein. Antwortet der Server auf die Adresse /robots.txt mit 404, nimmt Google an, dass es keine Einschränkungen gibt, und ruft alles ab. Sinnvoll ist die Datei trotzdem: Sie ist der feste Ort für den Verweis auf die Sitemap.
Wo sehe ich, wie Google meine robots.txt liest?
In den Einstellungen der Search Console gibt es den robots.txt-Bericht. Er zeigt je gefundener Datei, wann Google sie zuletzt abgerufen hat, den Status, etwa „Abgerufen“, und Zeilen, die Google nicht lesen konnte. Nach einer Änderung lässt sich dort „Erneutes Crawlen beantragen“ wählen.

Quellen

  1. IETF RFC 9309: Robots Exclusion Protocol (September 2022; Zeilenarten, weitere Zeilen, Sicherheitshinweise)
    https://www.rfc-editor.org/rfc/rfc9309.html
  2. Google Search Central: Einführung in robots.txt (gesperrte Seite ohne Beschreibung im Ergebnis, Stil- und Skriptdateien, noindex oder Passwort)
    https://developers.google.com/search/docs/crawling-indexing/robots/intro
  3. Google Search Central: How Google interprets the robots.txt specification (unterstützte Felder, Gruppen je Crawler, Groß- und Kleinschreibung, Pfadvergleich)
    https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt
  4. Google Search Central Blog, 2. Juli 2019: A note on unsupported rules in robots.txt (noindex dort seit 1. September 2019 nicht mehr gelesen)
    https://developers.google.com/search/blog/2019/07/a-note-on-unsupported-rules-in-robotstxt
  5. Google Search Central Blog, 27. Oktober 2014: Updating our technical Webmaster Guidelines (Zugriff auf JavaScript, CSS und Bilder)
    https://developers.google.com/search/blog/2014/10/updating-our-technical-webmaster
  6. Google Search Central: Understand JavaScript SEO basics (gesperrte Skripte werden nicht ausgeführt)
    https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
  7. Google Search Central: Robots meta tag und X-Robots-Tag (noindex wird nur beim Abruf gelesen)
    https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag
  8. Google Search Console-Hilfe: Bericht zur Seitenindexierung („Indexiert, obwohl durch robots.txt-Datei blockiert“)
    https://support.google.com/webmasters/answer/7440203
  9. Google Search Console-Hilfe: URL-Prüftool („Live-URL testen“, „Getestete Seite anzeigen“)
    https://support.google.com/webmasters/answer/9012289
  10. Microsoft Bing Blogs, 3. Mai 2012: To crawl or not to crawl, that is BingBot's question (Crawl-delay, eine Gruppe je Crawler)
    https://blogs.bing.com/webmaster/May-2012/To-crawl-or-not-to-crawl,-that-is-BingBot-s-questi
  11. OpenAI: Overview of OpenAI crawlers (OAI-SearchBot und die Suchantworten von ChatGPT)
    https://developers.openai.com/api/docs/bots
  12. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (robots.txt wird beachtet)
    https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
  13. Google Search Central: Übersicht der Google-Crawler (Google-Extended ohne Einfluss auf die Aufnahme in die Suche)
    https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
  14. Google Search Central: Create and submit a robots.txt file (Name, Ort, Gruppen, Beispiel)
    https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt
  15. Google Search Console-Hilfe: robots.txt-Bericht (Status „Abgerufen“, „Erneutes Crawlen beantragen“)
    https://support.google.com/webmasters/answer/6062598

Fotos

  • Foto: ClickerHappy, Pixabay (https://pixabay.com/photos/mouse-trap-cheese-device-trap-2846147/)
  • Foto: 2427999, Pixabay (https://pixabay.com/photos/latvia-karosta-russian-housing-1349680/)

Dieses Dokument gibt die Online-Fassung vom 19. November 2026 wieder. Ändern sich Norm, Rechtslage oder Werkzeuge, wird die Online-Fassung überarbeitet; sie steht unter euid.com/wissen/technik/robots-und-sitemap/robots-txt-fallen-css-js-gesperrt.