Prüfpunkt robots-traprobots.txt und Sitemap
Welche Fallen in der robots.txt schaden der Indexierung?
Die robots.txt sagt Suchmaschinen, welche Bereiche sie nicht abrufen sollen. Zwei Arten von Einträgen richten dabei mehr Schaden an, als sie verhindern. Erstens Sperren für Stylesheets, Skripte und Asset-Ordner: Google rendert Seiten wie ein Browser, und ohne diese Dateien sieht es eine zerfallene Darstellung, bewertet die Mobilfreundlichkeit falsch und findet nachgeladene Inhalte nicht. Zweitens Direktiven, die kein Crawler versteht — Noindex, Nofollow oder Crawl-delay in der robots.txt —, die seit Jahren wirkungslos sind und eine Sicherheit vorgaukeln, die nicht besteht. Der Prüfbereich Indexierung liest die robots.txt und meldet beides.
Was als Falle gilt
Als Rendering-Falle zählen Sperren, deren Pfad auf Stildateien oder Skripte endet, sowie Sperren typischer Asset-Ordner: wp-content und wp-includes bei WordPress, assets, static, css, js, images, media, fileadmin und typo3conf bei anderen Systemen. Eine Sperre des internen Bereichs, der Suche oder eines Warenkorbs ist keine Falle und wird nicht genannt. Als wirkungslose Direktive gelten Noindex, Nofollow und Crawl-delay: Google hat die inoffizielle Unterstützung für Noindex in der robots.txt 2019 eingestellt; wer eine Seite aus dem Index halten will, braucht ein Meta-Tag oder eine Kopfzeile auf der Seite selbst. Der Befund nennt die betroffenen Zeilen. Er ändert den Punktwert nicht, weil das Regelwerk idx-v1 unverändert bleibt; er erscheint im Bericht und in der Aufgabenliste.
Warum die Sperren meist aus alten Zeiten stammen
Vor 2015 galt es als guter Stil, alles außer dem Inhalt zu sperren, um Crawl-Budget zu sparen. Seit Google Seiten vollständig rendert, ist das Gegenteil richtig: Alles, was zur Darstellung gehört, muss abrufbar sein. Viele robots.txt-Dateien tragen die alten Einträge trotzdem noch, weil sie aus Vorlagen kopiert und nie überprüft wurden. Die Korrektur ist das Entfernen der Zeilen; wer einzelne Verzeichnisse wirklich schützen muss, tut das über Zugriffsrechte, nicht über die robots.txt. Für Noindex-Absichten gehört die Anweisung auf die Seite: als Meta-Tag im Kopf oder als X-Robots-Tag-Kopfzeile des Servers.
So gehen Sie es an
- Entfernen Sie Sperren für Ordner und Dateien, die zur Darstellung gehören: CSS, JS, Bilder, Asset-Ordner.
- Ersetzen Sie Noindex-Zeilen in der robots.txt durch ein Meta-Tag robots mit noindex auf den betreffenden Seiten.
- Prüfen Sie mit dem URL-Prüftool der Google Search Console, ob die gerenderte Ansicht vollständig ist.
- Halten Sie die robots.txt kurz: Sitemap-Verweis, echte Ausschlüsse, sonst nichts.
Weiter im Prüfbereich Technik
- Warum muss eine Website mit Status 200 antworten?Status 200 heißt: Der Server liefert die Seite fehlerfrei aus. Nur solche Seiten kann Google aufnehmen — die Prüfung folgt der ganzen Antwortkette.
- Warum erscheint meine fertige Website nicht bei Google?Häufigste Ursache: ein vergessenes noindex. Diese eine Anweisung schließt die Seite vollständig aus dem Google-Index aus.
- Wie viele Weiterleitungen verträgt eine Webadresse?Jede Weiterleitung kostet Ladezeit und Crawl-Budget. Ideal antwortet die Adresse direkt — die Prüfung zählt, wie viele Sprünge dazwischenliegen.
- Was ist eine kanonische Adresse und wozu dient sie?Die kanonische Adresse sagt Google, welche von mehreren Varianten einer Seite gilt. Ohne sie verteilt sich die Sichtbarkeit auf Duplikate.
Dieser Prüfpunkt gehört zum Prüfbereich Technik; dort stehen alle Prüfpunkte im Überblick. Was die Prüfung insgesamt leistet, zeigt die Leistungsseite; wie ein Ergebnis zustande kommt, erklärt das Prüfverfahren. Alle Prüfbereiche im Überblick: Wissensbasis.
Foto: Andrew Neel, CC0
.jpg){kind=link}