Prüfpunkt experte-robots-txtExpertenmodusDrucken
Woran erkenne ich eine ungültige Zeile in der robots.txt?
Eine robots.txt sagt Suchmaschinen, welche Bereiche Ihrer Website sie abrufen dürfen. Google übergeht Zeilen, die ungültig sind.1 Lighthouse warnt, dass eine ungültige robots.txt Suchmaschinen von öffentlichen Seiten fernhalten oder Seiten freigeben kann, die nicht in der Suche erscheinen sollen.2 Der Expertenmodus prüft jede Zeile und nennt ungültige mit ihrer Nummer.
Eine Regel vor dem User-agent gilt für keinen Crawler

Steht eine Anweisung vor der ersten User-agent-Zeile, folgt ihr nach Lighthouse kein Crawler.2 Wer so einen Bereich sperren wollte, hat ihn offen gelassen. Die robots.txt ist außerdem für jeden lesbar: Wer sie aufruft, sieht alle Pfade, die Sie sperren.
So prüft der Expertenmodus die robots.txt
Der Expertenmodus lädt die robots.txt der Website und prüft jede Zeile auf die Fehler, die auch Lighthouse meldet: unbekannte Anweisung, ein Muster, das nicht mit „/“ oder „*“ beginnt, ein „$“ mitten im Muster, eine Sitemap ohne gültige Adresse und Regeln ohne User-agent.2 Dazu meldet er Zeilen ohne Doppelpunkt und leere User-agent-Zeilen. Die Akte nennt jede Zeile mit Nummer und Grund.
Diese Regeln liest Google
Google unterstützt die Felder user-agent, allow, disallow und sitemap. Andere wie crawl-delay übergeht es.1 Ein Pfad beginnt mit „/“, und im Pfad zählt Groß- und Kleinschreibung, im Namen des Feldes nicht.1 Das Zeichen „*“ steht für beliebig viele Zeichen, „$“ für das Ende der Adresse.1 Die Sitemap nennen Sie mit vollständiger Adresse samt Protokoll und Domain.1 Was hinter 500 KiB steht, liest Google nicht mehr.1
Beispiele
Sperre für einen Bereich
Disallow: /intern
User-agent: *
Disalow: /lager-alt
Sitemap: /sitemap.xmlUser-agent: *
Disallow: /intern
Disallow: /lager-alt
Sitemap: https://www.beispiel.at/sitemap.xmlErst die User-agent-Zeile, dann die Regeln; die Sitemap mit vollständiger Adresse.
So gehen Sie es an
- Öffnen Sie Ihre robots.txt unter der Adresse Ihrer Website mit /robots.txt am Ende und berichtigen Sie die Zeilen, die die Akte nennt.
- Beginnen Sie jede Gruppe mit einer User-agent-Zeile, darunter Allow und Disallow mit Pfaden ab „/“.
- Prüfen Sie die Datei danach im robots.txt-Bericht der Google Search Console.
Tipps aus der Praxis
- Schreiben Sie die Anweisungen genau so wie in der Beschreibung von Google: User-agent, Allow, Disallow, Sitemap. Ein Tippfehler fällt beim Lesen kaum auf, eine Prüfung findet ihn sofort.
Weiter im Prüfbereich SEO
- Was wertet Google als Spam, und wie erfahre ich von einer Maßnahme gegen meine Website?Googles Spam-Richtlinien von gekauften Links bis zu massenhaft erzeugten Seiten, und wo Sie eine manuelle Maßnahme in der Search Console sehen.
- Wie lange dauert es, bis Änderungen an der Website in der Google-Suche wirken?Manche Änderungen wirken nach Stunden, andere nach Monaten. Was Google dazu sagt, wann Sie messen und was nach einem Core Update anders ist.
- Was bewirken die Robots-Anweisungen none und unavailable_after?none nimmt eine Seite aus der Suche, unavailable_after ab einem Datum. So prüfen Sie, ob die Anweisung gewollt ist und im Seitenkopf steht.
- Welche Felder brauchen strukturierte Daten für Extras im Suchergebnis?Preis, Termin oder Adresse erscheinen im Suchergebnis nur, wenn die strukturierten Daten alle Pflichtfelder enthalten. So ergänzen Sie fehlende Felder.
Dieser Prüfpunkt gehört zum Prüfbereich SEO; dort stehen alle Prüfpunkte im Überblick. Was die Prüfung insgesamt leistet, zeigt die Leistungsseite; wie ein Ergebnis zustande kommt, erklärt das Prüfverfahren. Alle Prüfbereiche im Überblick: Wissensbasis.




