Prüfpunkt indexablerobots.txt und Sitemap
Warum erscheint meine fertige Website nicht bei Google?
Die häufigste Ursache ist ein vergessenes „noindex“ — eine einzige technische Anweisung, die Suchmaschinen anweist, die Seite nicht in den Index aufzunehmen. Während der Entwicklung wird sie absichtlich gesetzt, damit unfertige Seiten nicht bei Google auftauchen. Wird der Schalter beim Start vergessen, bleibt die fertige Website unauffindbar, obwohl sie einwandfrei funktioniert. Der Prüfbereich „Indexierung“ liest beide Stellen aus, an denen sich ein noindex verstecken kann.
Eine Anweisung mit Totalwirkung
„noindex“ ist ein einzelnes Wort im technischen Teil einer Webseite. Es sagt jeder Suchmaschine: Nimm diese Seite nicht auf. Ein Teilweise gibt es dabei nicht — ein einziges noindex schließt die Seite vollständig aus den Suchergebnissen aus. Das Tückische daran: Für Besucher ändert sich nichts. Die Seite lädt normal, alle Links funktionieren, das Design stimmt. Deshalb bleibt der Fehler oft monatelang unbemerkt, bis jemand fragt, warum die Website bei Google nicht zu finden ist. In unserer Bewertung trägt diese Regel 25 von 100 Punkten — mehr als jede andere im Prüfbereich, weil ihre Wirkung total ist.
Zwei Verstecke: Meta-Tag und Kopfzeile
Ein noindex kann an zwei Stellen stehen. Erstens im Quelltext der Seite selbst, als sogenanntes Meta-Tag — dort findet es jeder, der den Quelltext öffnet und danach sucht. Zweitens in der HTTP-Kopfzeile, einem unsichtbaren Begleitschreiben, das der Server jeder Antwort mitgibt; die Fachbezeichnung lautet X-Robots-Tag. Diese zweite Stelle sieht man im Browser nicht, und genau dort wird sie am häufigsten übersehen. Unsere Prüfung liest beide Stellen bei jedem Durchgang aus und nennt im Befund wörtlich, welche Anweisung gefunden wurde — so lässt sie sich gezielt entfernen.
Der vergessene Testbetriebs-Schalter
Bei einem Website-Neubau arbeitet die Agentur auf einer Vorschau-Adresse. Damit diese Baustelle nicht vorzeitig bei Google erscheint, wird sie mit noindex geschützt — das ist richtig so. Beim Umzug auf die echte Domain muss dieser Schutz entfernt werden. Genau dieser Handgriff geht in der Hektik eines Starttermins immer wieder unter. Das Ergebnis: Die neue Website ist online, sieht gut aus und verschwindet trotzdem Schritt für Schritt aus den Suchergebnissen. Fragen Sie deshalb bei jedem Relaunch ausdrücklich nach diesem Schalter — und lassen Sie die Antwort mit einem Blick in den Quelltext belegen.
So gehen Sie es an
- Öffnen Sie den Quelltext Ihrer Startseite (rechte Maustaste, „Seitenquelltext anzeigen“) und suchen Sie nach dem Wort „noindex“.
- Suchen Sie bei Google nach „site:ihre-domain.at“ — erscheint keine einzige Seite, ist Ihre Website vermutlich ausgeschlossen.
- Fragen Sie nach jedem Relaunch ausdrücklich nach, ob das noindex aus dem Testbetrieb entfernt wurde.
- Bitten Sie Ihre Agentur, auch die HTTP-Kopfzeilen zu prüfen — dort kann ein noindex stehen, ohne im Quelltext sichtbar zu sein.
Weiter im Prüfbereich Technik
- Wie viele Weiterleitungen verträgt eine Webadresse?Jede Weiterleitung kostet Ladezeit und Crawl-Budget. Ideal antwortet die Adresse direkt — die Prüfung zählt, wie viele Sprünge dazwischenliegen.
- Was ist eine kanonische Adresse und wozu dient sie?Die kanonische Adresse sagt Google, welche von mehreren Varianten einer Seite gilt. Ohne sie verteilt sich die Sichtbarkeit auf Duplikate.
- Was ist eine meta-refresh-Weiterleitung und warum schadet sie?meta-refresh- und JavaScript-Weiterleitungen sind für Suchmaschinen unzuverlässig. Die saubere Lösung ist eine Weiterleitung direkt vom Server.
- Warum muss der Inhalt einer Website im ersten HTML stehen?Steht Text erst nach JavaScript im Dokument, hängt die Indexierung vom Rendern ab. Die Prüfung misst den sichtbaren Text im ersten HTML.
Dieser Prüfpunkt gehört zum Prüfbereich Technik; dort stehen alle Prüfpunkte im Überblick. Was die Prüfung insgesamt leistet, zeigt die Leistungsseite; wie ein Ergebnis zustande kommt, erklärt das Prüfverfahren. Alle Prüfbereiche im Überblick: Wissensbasis.
Foto: Andrew Neel, CC0
.jpg){kind=link}