Wissen › SEO › Expertenmodus
Stand 19. November 2026
Online: euid.com/
Prüfpunkt experte-robots-txt
Woran erkenne ich eine ungültige Zeile in der robots.txt?
Eine robots.txt sagt Suchmaschinen, welche Bereiche Ihrer Website sie abrufen dürfen. Google übergeht Zeilen, die ungültig sind.1 Lighthouse warnt, dass eine ungültige robots.txt Suchmaschinen von öffentlichen Seiten fernhalten oder Seiten freigeben kann, die nicht in der Suche erscheinen sollen.2 Der Expertenmodus prüft jede Zeile und nennt ungültige mit ihrer Nummer.
Eine Regel vor dem User-agent gilt für keinen Crawler

Steht eine Anweisung vor der ersten User-agent-Zeile, folgt ihr nach Lighthouse kein Crawler.2 Wer so einen Bereich sperren wollte, hat ihn offen gelassen. Die robots.txt ist außerdem für jeden lesbar: Wer sie aufruft, sieht alle Pfade, die Sie sperren.
So prüft der Expertenmodus die robots.txt
Der Expertenmodus lädt die robots.txt der Website und prüft jede Zeile auf die Fehler, die auch Lighthouse meldet: unbekannte Anweisung, ein Muster, das nicht mit „/“ oder „*“ beginnt, ein „$“ mitten im Muster, eine Sitemap ohne gültige Adresse und Regeln ohne User-agent.2 Dazu meldet er Zeilen ohne Doppelpunkt und leere User-agent-Zeilen. Die Akte nennt jede Zeile mit Nummer und Grund.
Diese Regeln liest Google
Google unterstützt die Felder user-agent, allow, disallow und sitemap. Andere wie crawl-delay übergeht es.1 Ein Pfad beginnt mit „/“, und im Pfad zählt Groß- und Kleinschreibung, im Namen des Feldes nicht.1 Das Zeichen „*“ steht für beliebig viele Zeichen, „$“ für das Ende der Adresse.1 Die Sitemap nennen Sie mit vollständiger Adresse samt Protokoll und Domain.1 Was hinter 500 KiB steht, liest Google nicht mehr.1
Beispiele
Sperre für einen Bereich
Nicht erfüllt
Disallow: /intern User-agent: * Disalow: /lager-alt Sitemap: /sitemap.xml
Erfüllt
User-agent: * Disallow: /intern Disallow: /lager-alt Sitemap: https://www.beispiel.at/sitemap.xml
Erst die User-agent-Zeile, dann die Regeln; die Sitemap mit vollständiger Adresse.
So gehen Sie es an
- Öffnen Sie Ihre robots.txt unter der Adresse Ihrer Website mit /robots.txt am Ende und berichtigen Sie die Zeilen, die die Akte nennt.
- Beginnen Sie jede Gruppe mit einer User-agent-Zeile, darunter Allow und Disallow mit Pfaden ab „/“.
- Prüfen Sie die Datei danach im robots.txt-Bericht der Google Search Console.
Tipps aus der Praxis
- Schreiben Sie die Anweisungen genau so wie in der Beschreibung von Google: User-agent, Allow, Disallow, Sitemap. Ein Tippfehler fällt beim Lesen kaum auf, eine Prüfung findet ihn sofort.
Häufige Fragen
- Ist Groß- und Kleinschreibung wichtig?
- Im Namen des Feldes nicht, im Pfad schon: /Intern und /intern sind für Google verschiedene Pfade.1
- Liest Google crawl-delay?
- Google unterstützt nur user-agent, allow, disallow und sitemap.1
- Prüft der Expertenmodus, ob wichtige Dateien gesperrt sind?
- Gesperrte Stil- und Skriptdateien prüft der Prüfbereich Indexierung. Der Expertenmodus prüft die Schreibweise jeder Zeile.
- Wirkt eine falsch geschriebene Anweisung wie „Disalow“?
- Bei Google ja: Der Parser, den Googlebot verwendet, liest häufige Tippfehler wie „Disalow“ oder „Useragent“ als die gemeinte Anweisung.3 Lighthouse meldet dieselbe Zeile als unbekannte Anweisung.2 Richtig geschrieben liest jedes Werkzeug die Zeile gleich.
Quellen
- Google Search Central: So interpretiert Google die robots.txt-Spezifikation
https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt - Chrome for Developers: Lighthouse, robots.txt is not valid
https://developer.chrome.com/docs/lighthouse/seo/invalid-robots-txt - Google: robots.txt-Parser von Googlebot, Quelltext (robots.cc, Tippfehler)
https://github.com/google/robotstxt/blob/master/robots.cc
Fotos
- Foto: eliza28diamonds, Pixabay (https://pixabay.com/photos/keep-out-sign-warning-danger-stay-4845935/)
Dieses Dokument gibt die Online-Fassung vom 19. November 2026 wieder. Ändern sich Norm, Rechtslage oder Werkzeuge, wird die Online-Fassung überarbeitet; sie steht unter euid.com/wissen/seo/expertenmodus/robots-txt-zeilen-gueltig-schreiben.