Prüfpunkt robots-sitemaprobots.txt und Sitemap
Wozu brauchen robots.txt und Sitemap einander?
Die robots.txt ist die erste Datei, die eine Suchmaschine auf Ihrer Website liest — und dort soll der Verweis auf die Sitemap stehen, das maschinenlesbare Inhaltsverzeichnis aller Seiten. Der Prüfbereich „Indexierung“ prüft die ganze Kette: Gibt es eine robots.txt, verweist sie auf eine Sitemap, ist diese Sitemap abrufbar, und zeigt sie auf die richtige Domain.
Die robots.txt als Hausordnung Ihrer Website
Die robots.txt ist eine einfache Textdatei, die unter einer festen Adresse liegt: ihre-domain.at/robots.txt. Suchmaschinen lesen sie vor jedem Besuch. Darin steht, welche Bereiche der Website Crawler besuchen dürfen — und im besten Fall eine Zeile, die den Weg zur Sitemap weist. Die Prüfung ruft die Datei ab und kontrolliert nebenbei, ob eine der Sperr-Regeln versehentlich die geprüfte Seite selbst betrifft. Eine Sperre an dieser Stelle würde bedeuten, dass Suchmaschinen die Seite gar nicht erst besuchen dürfen — ein stiller Ausschluss, den im Alltag niemand bemerkt.
Die Sitemap als Inhaltsverzeichnis
Die Sitemap ist eine maschinenlesbare Liste aller Seiten Ihrer Website. Suchmaschinen nutzen sie, um neue und geänderte Seiten schnell zu finden — gerade Seiten, die intern schwach verlinkt sind, wären ohne sie schwer zu entdecken. Die Prüfung folgt dem Verweis aus der robots.txt und kontrolliert, ob die Sitemap tatsächlich abrufbar ist. Ein häufiger, stiller Fehler wird dabei eigens geprüft: Nach einem Relaunch oder Domainwechsel zeigt die Sitemap-Zeile mitunter noch auf die alte oder eine falsch getippte Domain. Der Verweis läuft dann ins Leere, ohne dass es jemand bemerkt — der Befund weist genau darauf hin.
Stichprobe in die Sitemap hinein
Zusätzlich zieht die Prüfung eine Stichprobe aus den in der Sitemap gelisteten Adressen und ruft sie einzeln ab. Drei Ergebnisse werden unterschieden: Adressen, die direkt mit Status 200 antworten — der Sollzustand. Adressen, die erst über eine Weiterleitung ankommen — sie funktionieren, verschwenden aber Crawl-Aufwand, denn die Sitemap soll die endgültige Adresse nennen. Und Adressen, die in einem Fehler enden — sie gehören gar nicht in die Sitemap und erscheinen im Prüfbericht samt Statuscode. So bleibt das Inhaltsverzeichnis eine verlässliche Quelle statt einer Sammlung toter Verweise.
So gehen Sie es an
- Rufen Sie ihre-domain.at/robots.txt im Browser auf — die Datei soll erscheinen und eine Zeile „Sitemap:“ enthalten.
- Öffnen Sie die dort genannte Sitemap-Adresse — sie muss sich laden lassen und Ihre aktuellen Seiten auflisten.
- Prüfen Sie nach jedem Relaunch oder Domainwechsel, ob die Sitemap-Zeile noch auf die richtige Domain zeigt.
- Lassen Sie die Sitemap automatisch pflegen, damit neue Seiten hineinkommen und gelöschte verschwinden.
- Kontrollieren Sie, dass keine Sperr-Regel in der robots.txt versehentlich wichtige Seiten blockiert.
Weiter im Prüfbereich Technik
- Was passiert mit alten Adressen nach einem Website-Relaunch?Früher indexierte Adressen, die nach einem Relaunch Fehler liefern, fallen aus dem Suchindex — und der Wert eingehender Verweise verfällt mit ihnen.
- Warum dürfen interne Links nicht auf Fehlerseiten führen?Interne Links auf 4xx-/5xx-Adressen verschwenden Crawl-Budget und brechen Besucherwege. Die Prüfung zählt betroffene Adressen und nennt Beispiele.
- Warum darf die Sitemap keine toten Adressen enthalten?Eine Sitemap ist eine Einladungsliste an Suchmaschinen. Tote Adressen darin verschwenden Crawl-Budget und beschädigen das Vertrauen in alle Einträge.
- Welche Sicherheits-Header sollte ein Webserver senden?Schutz-Kopfzeilen wie Content-Security-Policy oder X-Content-Type-Options kosten nichts, schützen Besucher und sind ein Qualitätssignal der Website.
Dieser Prüfpunkt gehört zum Prüfbereich Technik; dort stehen alle Prüfpunkte im Überblick. Was die Prüfung insgesamt leistet, zeigt die Leistungsseite; wie ein Ergebnis zustande kommt, erklärt das Prüfverfahren. Alle Prüfbereiche im Überblick: Wissensbasis.
Foto: Andrew Neel, CC0
.jpg){kind=link}