Zum Inhalt springen
EUID Prüfservice & Prüfsiegel, Startseite
Website prüfen lassen

Prüfpunkt robots-traprobots.txt und SitemapDrucken

Was gehört in eine robots.txt und was nicht?

In eine robots.txt gehören wenige Zeilen: für wen die Regeln gelten, welche Bereiche Crawler nicht abrufen sollen und wo die Sitemap liegt. Die Website eines kleinen Unternehmens kommt mit vier Zeilen aus. Nicht hinein gehören Sperren für Stil- und Skriptdateien, Anweisungen wie Noindex, die Google dort nicht liest, und Pfade, die geheim bleiben sollen, denn die Datei kann jeder öffnen. Fehlt die Datei ganz, nimmt Google an, dass es keine Einschränkungen gibt.

Die Zeilen, die Google liest

Google liest diese Felder: User-agent sagt, für welchen Crawler die folgenden Regeln gelten; der Stern steht für alle. Disallow nennt einen Pfad, den der Crawler nicht abrufen soll. Allow nimmt einen Teil davon wieder aus. Sitemap nennt die vollständige Adresse der Sitemap und steht unabhängig von den Gruppen an beliebiger Stelle. Andere Felder liest Google nicht, ungültige Zeilen übergeht es. Was keine Disallow-Zeile trifft, darf abgerufen werden. Kommentare beginnen mit einer Raute. Die Datei muss robots.txt heißen, als Textdatei in UTF-8 gespeichert sein und im Hauptverzeichnis liegen.

Wie ein Crawler die Regeln anwendet

Die Datei gilt nur für den Host, das Protokoll und den Port, unter dem sie liegt: Die robots.txt von www.ihre-domain.at regelt nichts für shop.ihre-domain.at. Treffen mehrere Regeln auf eine Adresse zu, gilt die mit dem längsten Pfad; sind zwei gleich lang, gilt nach dem Standard RFC 9309 die Erlaubnis. Pfade unterscheiden Groß- und Kleinschreibung und gelten ab dem Anfang der Adresse: Disallow: /suche trifft auch /suche-und-finde.html. Hat ein Crawler eine eigene Gruppe, liest er bei Google die allgemeine Gruppe unter dem Stern nicht mehr. Google liest höchstens 500 KiB der Datei und hält sie in der Regel bis zu 24 Stunden im Zwischenspeicher.

Was sinnvoll gesperrt wird

Google nennt als Zweck der Datei vor allem, den Server vor zu vielen Abrufen zu bewahren. Sinnvoll sind deshalb Sperren für Bereiche, die viele Adressen ohne eigenen Inhalt für die Suche erzeugen: die Ergebnisseiten der internen Suche, den Warenkorb, die Kasse. Bei einer Website mit einigen Dutzend Seiten ist oft gar keine Sperre nötig. Dann besteht die Datei aus der Gruppe für alle Crawler und der Sitemap-Zeile.

Was nicht hineingehört

Sperren für Ordner mit Stil- und Skriptdateien: Google braucht diese Dateien, um die Seite darzustellen. Zeilen wie Noindex oder Crawl-delay: Google liest sie nicht, und ein noindex gehört auf die Seite selbst. Pfade zu vertraulichen Bereichen: RFC 9309 hält fest, dass aufgeführte Pfade öffentlich und damit auffindbar sind und dass die Regeln keine Zugriffskontrolle sind. Und Sperren für Seiten, die aus der Suche verschwinden sollen: Google kann eine gesperrte Adresse trotzdem aufnehmen, wenn andere Websites auf sie verlinken.

Beispiele

robots.txt einer Firmenwebsite

Nicht erfüllt
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10
Erfüllt
User-agent: *
Disallow: /suche/
Disallow: /warenkorb/

Sitemap: https://www.ihre-domain.at/sitemap.xml

Die erste Fassung sperrt den Ordner mit Stil- und Skriptdateien, nennt einen vertraulichen Pfad öffentlich und enthält zwei Zeilen, die Google nicht liest. Die zweite sperrt zwei Bereiche ohne eigenen Inhalt für die Suche und nennt die Sitemap.

So gehen Sie es an

  1. Rufen Sie ihre-domain.at/robots.txt auf und gehen Sie die Datei Zeile für Zeile durch: Zu jeder Sperre soll jemand sagen können, wozu sie da ist.
  2. Lassen Sie nach jeder Änderung prüfen, ob Startseite, Stildateien und Skripte weiter abgerufen werden dürfen.

Mehr zu diesem Thema

Weiter im Prüfbereich Indexierung

Dieser Prüfpunkt gehört zum Prüfbereich Indexierung; dort stehen alle Prüfpunkte im Überblick. Was die Prüfung insgesamt leistet, zeigt die Leistungsseite; wie ein Ergebnis zustande kommt, erklärt das Prüfverfahren. Alle Prüfbereiche im Überblick: Wissensbasis.

  • Siegel Digitale Barrierefreiheit
  • Siegel Daten & Recht
  • Siegel Technische Qualität
  • Siegel Digital Excellence
  • Siegel Cyberversicherung

Geprüft. Für eine bessere digitale Zukunft.euid.com