Wie prüfe ich selbst, ob Google meine Seiten findet?

Die Probe am Quelltext: noindex und der Satz im HTML

Öffnen Sie Ihre Startseite und drücken Sie Strg+U; der Browser zeigt den Quelltext, also das, was der Server ausliefert. Suchen Sie mit Strg+F nach „noindex“. Google beschreibt das Meta-Tag robots mit dem Wert noindex als Anweisung, die Seite nicht in den Suchergebnissen zu zeigen; dieselbe Anweisung kann als Kopfzeile X-Robots-Tag kommen, die im Quelltext nicht steht. Die Kopfzeile sehen Sie mit F12 im Reiter Netzwerk: Seite neu laden, den ersten Eintrag anklicken, Antwort-Header lesen. Die zweite Probe prüft, ob Ihr Text überhaupt im Quelltext steht. Kopieren Sie einen ganzen Satz von der sichtbaren Seite und suchen Sie ihn mit Strg+F im Quelltext. Finden Sie ihn, kann jeder Crawler ihn lesen. Finden Sie ihn nicht, entsteht der Text erst im Browser durch JavaScript; Google rendert das zwar, schreibt aber selbst, dass nicht alle Bots JavaScript ausführen können, und nennt das Rendern am Server weiterhin eine gute Idee.

Die Probe am Server: robots.txt, Sitemap, erfundene Adresse

Rufen Sie ihre-domain.at/robots.txt auf. Die Datei soll erscheinen, darf keine Zeile Disallow: / für alle Bots enthalten und nennt mit einer Zeile Sitemap: die Adresse Ihrer Sitemap. Eine Zeile Noindex: in dieser Datei liest Google seit dem 1. September 2019 nicht mehr, wie Gary Illyes im Google-Blog 2019 ankündigte; sie schützt nichts. Google schreibt außerdem, dass die robots.txt kein Mittel ist, eine Seite aus Google herauszuhalten, weil eine gesperrte Adresse über Links trotzdem indexiert werden kann. Öffnen Sie dann die in der robots.txt genannte Sitemap; sie muss laden und Ihre aktuellen Seiten mit vollständigen Adressen nennen. Google nennt die Sitemap einen Hinweis ohne Garantie, begrenzt eine Datei auf 50.000 Adressen und 50 MB und ignoriert die Angaben priority und changefreq. Die dritte Probe ist eine erfundene Adresse: Rufen Sie ihre-domain.at/diese-seite-gibt-es-nicht-4711 auf und lesen Sie im Reiter Netzwerk den Status. 404 ist richtig. Antwortet der Server mit 200, sehen Suchmaschinen eine Seite, wo keine ist; Google beschreibt das als Soft-404 und zeigt es in der Search Console als eigenen Zustand.

Die Search Console zeigt, was Google über jede Adresse weiß

Die Search Console ist Googles kostenloser Dienst für Website-Betreiber. Nach der Anmeldung und dem Nachweis, dass Ihnen die Domain gehört, zeigt der Bericht Seiten (Indexierung) für jede Adresse einen Zustand. Google beschreibt die Zustände in seiner Hilfe: Not found (404) für Adressen, die mit 404 antworten; Soft 404 für Seiten, die eine Fehlermeldung zeigen, aber keinen 404-Status senden; URL blocked by robots.txt für Adressen, die Ihre robots.txt sperrt; URL marked noindex für Seiten, bei denen Google beim Indexieren ein noindex vorfand; Discovered, currently not indexed für Adressen, die Google kennt, aber noch nicht abgerufen hat; Crawled, currently not indexed für abgerufene Seiten, die Google nicht aufgenommen hat. Das URL-Prüftool derselben Konsole beantwortet die Frage für eine einzelne Adresse: Es zeigt URL is on Google oder URL is not on Google, das Datum des letzten Abrufs, ob die robots.txt den Abruf erlaubt hat und welche Adresse Google als kanonische, also maßgebliche Fassung gewählt hat. Es kann die Adresse als Live-Test neu abrufen und eine Indexierung anfragen; Google schreibt dazu, dass die Anfrage keine Aufnahme garantiert.

Die Probe an alten Adressen und Weiterleitungen

Nehmen Sie eine Adresse aus einer alten Drucksache, einem alten Newsletter oder dem Internet-Archiv web.archive.org und rufen Sie sie auf. Beobachten Sie die Adresszeile: Sie darf höchstens einmal springen und muss auf der inhaltlich passenden neuen Seite landen. Google folgt laut seiner Dokumentation bis zu zehn Weiterleitungen, wertet 301 und 308 als starkes Signal und 302, 303 und 307 als schwaches und empfiehlt dauerhafte Weiterleitungen am Server. Für Weiterleitungen im Seiteninhalt gilt: Google liest ein sofortiges meta-refresh wie eine dauerhafte Weiterleitung, ein verzögertes wie eine vorübergehende, und eine JavaScript-Weiterleitung sieht Google erst beim Rendern; scheitert das, sieht Google sie nie. Endet die alte Adresse mit 404, entfernt Google sie aus dem Index. Was ein Relaunch ohne Weiterleitungen kostet, beschreibt der Artikel zum Relaunch in diesem Prüfbereich.

Dieselben Proben gelten für KI-Antworten

Google sagt für AI Overviews und AI Mode, dass es keine zusätzlichen Anforderungen gibt: Eine Seite muss indexiert sein, um dort als Quelle zu erscheinen, und dieselben Mittel wie in der Suche begrenzen, was gezeigt wird: noindex nimmt die Seite ganz heraus, nosnippet und max-snippet begrenzen den Ausschnitt. Für die Crawler anderer Anbieter zählt die Probe am Quelltext doppelt: Google selbst schreibt, dass nicht alle Bots JavaScript ausführen; ein Satz, der nur im Browser entsteht, ist für solche Werkzeuge nicht vorhanden. Welche Crawler OpenAI, Anthropic und Perplexity betreiben und wie die robots.txt sie steuert, beschreibt der Artikel des Prüfbereichs GEO zu den KI-Crawlern.

Tipps aus der Praxis

• Die Suche site:ihre-domain.at bei Google ist der schnellste erste Blick; Google beschreibt den Operator in seiner Hilfe als Suche nach Ergebnissen einer bestimmten Website. Sie zeigt, was Google zeigt, und sagt nichts darüber, warum etwas fehlt; das sagt nur die Search Console.
• Die Kopfzeile X-Robots-Tag kommt aus der Serverkonfiguration oder aus einer Erweiterung des Redaktionssystems; wer sie findet, fragt Hoster und Agentur zugleich.
• Discovered, currently not indexed bei neuen Seiten ist nach Googles Beschreibung erst einmal Wartezeit; Crawled, currently not indexed über Wochen ist eine Frage an den Inhalt der Seite.
• Wiederholen Sie die Proben nach jedem Relaunch, jedem Hosting-Umzug und jeder neuen Erweiterung des Redaktionssystems; dort entstehen die Fehler, die im Browser nicht auffallen.