Zum Inhalt springen
EUID Prüfservice & Prüfsiegel, Startseite
Website prüfen lassen

Prüfpunkt experte-robots-txtExpertenmodusDrucken

Woran erkenne ich eine ungültige Zeile in der robots.txt?

Eine robots.txt sagt Suchmaschinen, welche Bereiche Ihrer Website sie abrufen dürfen. Google übergeht Zeilen, die ungültig sind.1 Lighthouse warnt, dass eine ungültige robots.txt Suchmaschinen von öffentlichen Seiten fernhalten oder Seiten freigeben kann, die nicht in der Suche erscheinen sollen.2 Der Expertenmodus prüft jede Zeile und nennt ungültige mit ihrer Nummer.

Eine Regel vor dem User-agent gilt für keinen Crawler

Steht eine Anweisung vor der ersten User-agent-Zeile, folgt ihr nach Lighthouse kein Crawler.2 Wer so einen Bereich sperren wollte, hat ihn offen gelassen. Die robots.txt ist außerdem für jeden lesbar: Wer sie aufruft, sieht alle Pfade, die Sie sperren.

So prüft der Expertenmodus die robots.txt

Der Expertenmodus lädt die robots.txt der Website und prüft jede Zeile auf die Fehler, die auch Lighthouse meldet: unbekannte Anweisung, ein Muster, das nicht mit „/“ oder „*“ beginnt, ein „$“ mitten im Muster, eine Sitemap ohne gültige Adresse und Regeln ohne User-agent.2 Dazu meldet er Zeilen ohne Doppelpunkt und leere User-agent-Zeilen. Die Akte nennt jede Zeile mit Nummer und Grund.

Diese Regeln liest Google

Google unterstützt die Felder user-agent, allow, disallow und sitemap. Andere wie crawl-delay übergeht es.1 Ein Pfad beginnt mit „/“, und im Pfad zählt Groß- und Kleinschreibung, im Namen des Feldes nicht.1 Das Zeichen „*“ steht für beliebig viele Zeichen, „$“ für das Ende der Adresse.1 Die Sitemap nennen Sie mit vollständiger Adresse samt Protokoll und Domain.1 Was hinter 500 KiB steht, liest Google nicht mehr.1

Beispiele

Sperre für einen Bereich

Nicht erfüllt
Disallow: /intern
User-agent: *
Disalow: /lager-alt
Sitemap: /sitemap.xml
Erfüllt
User-agent: *
Disallow: /intern
Disallow: /lager-alt
Sitemap: https://www.beispiel.at/sitemap.xml

Erst die User-agent-Zeile, dann die Regeln; die Sitemap mit vollständiger Adresse.

So gehen Sie es an

  1. Öffnen Sie Ihre robots.txt unter der Adresse Ihrer Website mit /robots.txt am Ende und berichtigen Sie die Zeilen, die die Akte nennt.
  2. Beginnen Sie jede Gruppe mit einer User-agent-Zeile, darunter Allow und Disallow mit Pfaden ab „/“.
  3. Prüfen Sie die Datei danach im robots.txt-Bericht der Google Search Console.

Tipps aus der Praxis

  • Schreiben Sie die Anweisungen genau so wie in der Beschreibung von Google: User-agent, Allow, Disallow, Sitemap. Ein Tippfehler fällt beim Lesen kaum auf, eine Prüfung findet ihn sofort.

Weiter im Prüfbereich SEO

Dieser Prüfpunkt gehört zum Prüfbereich SEO; dort stehen alle Prüfpunkte im Überblick. Was die Prüfung insgesamt leistet, zeigt die Leistungsseite; wie ein Ergebnis zustande kommt, erklärt das Prüfverfahren. Alle Prüfbereiche im Überblick: Wissensbasis.

  • Siegel Digitale Barrierefreiheit
  • Siegel Daten & Recht
  • Siegel Technische Qualität
  • Siegel Digital Excellence
  • Siegel Cyberversicherung

Geprüft. Für eine bessere digitale Zukunft.euid.com