Prüfpunkt no-cloakingInhalt im HTMLDrucken
Wie erkenne ich den echten Googlebot?
An der IP-Adresse, nie am Namen. Die Kennung „Googlebot“ im Zugriffsprotokoll ist eine Angabe des Absenders, und jedes Programm kann sie senden; Google selbst schreibt, dass sie oft von anderen Crawlern vorgetäuscht wird. Echt ist ein Zugriff, wenn seine IP-Adresse zu Google gehört. Für den Einzelfall nennt Google eine doppelte Abfrage im Namenssystem des Internets (DNS), für Firewall und Bot-Schutz veröffentlichte Listen seiner IP-Bereiche.
Die Kennung beweist nichts

Jeder Abruf einer Website nennt in der Kopfzeile User-Agent, wer anfragt. Diese Angabe prüft niemand. Google nennt Spammer und andere Störenfriede, die auf Websites zugreifen und sich dabei als Google ausgeben. Auch Prüfwerkzeuge senden die Kennung, um zu sehen, was eine Website Suchmaschinen ausliefert. Für Ihre Firewall hat das Folgen in beide Richtungen. Wer dem Namen vertraut, lässt Nachahmer durch. Und wer Zugriffe mit diesem Namen pauschal bremst, weil es auffällig viele sind, trifft unter Umständen den echten Crawler.
Der Einzelfall: Hin- und Rückabfrage im DNS
Für eine einzelne IP-Adresse aus dem Zugriffsprotokoll beschreibt Google diesen Weg. Die Rückwärtsabfrage fragt, zu welchem Namen die IP-Adresse gehört. Der Name muss auf googlebot.com, google.com oder googleusercontent.com enden. Die Vorwärtsabfrage fragt, welche IP-Adresse zu diesem Namen gehört. Es muss dieselbe sein wie im Protokoll. Die Gegenprobe ist nötig, weil den Rückwärtseintrag der Inhaber einer IP-Adresse selbst festlegt. Ihr Hoster erledigt beide Abfragen mit dem Befehl host; das Beispiel unten zeigt Googles eigene Musteradresse.
Die Dauerlösung: Googles IP-Listen
Für Firewall und Bot-Schutz veröffentlicht Google die IP-Bereiche seiner Crawler als Dateien, getrennt nach Art des Zugriffs. Die Datei common-crawlers.json nennt die Adressen der allgemeinen Crawler wie des Googlebots; sie halten sich bei automatischen Abrufen immer an die robots.txt. Die Datei special-crawlers.json gilt für Sonderfälle wie den AdsBot. Weitere Dateien gelten für Abrufe, die ein Nutzer auslöst; Google nennt als Beispiel die Bestätigung der Inhaberschaft einer Website. Solche Abrufe richten sich nicht nach der robots.txt. Die Adressen stehen in den Dateien als Bereiche in CIDR-Schreibweise. Ein Schutz, der diese Listen einliest, lässt echte Zugriffe durch und muss dem Namen nicht vertrauen.
Was geschieht, wenn der Schutz den echten Googlebot abweist
Antwortet der Schutz dem echten Googlebot mit einem Fehler der 4xx-Reihe, etwa 403, behandelt Google das wie eine Seite, die es nicht gibt: Alle 4xx-Antworten außer 429 werden gleich behandelt, und die Adresse wird aus dem Index entfernt. Bei 429 und bei Fehlern der 5xx-Reihe verlangsamt Google das Abrufen vorübergehend. Besucher merken davon nichts, die Website lädt wie immer. Sichtbar wird es in der Search Console: im Bericht zur Seitenindexierung und im URL-Prüftool, dessen Live-Test zeigt, was Google gerade bekommt.
Dieselbe Probe gibt es für KI-Crawler
Auch OpenAI veröffentlicht die IP-Adressen seiner Crawler, je eine Liste für GPTBot, OAI-SearchBot und ChatGPT-User. Wer in der Suche von ChatGPT erscheinen will, soll nach OpenAIs Angabe den OAI-SearchBot in der robots.txt zulassen und Zugriffe aus den veröffentlichten IP-Bereichen durchlassen. Ein Bot-Schutz kann damit auch hier nach Herkunft entscheiden. Welche dieser Crawler Sie zulassen, ist eine eigene Frage; sie beantwortet der Artikel „Darf ich KI-Crawler sperren, und was gebe ich dabei auf?“.
Beispiele
Zwei Zugriffe mit der Kennung Googlebot
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1Zur ersten Adresse gibt es keinen Namen bei Google: Die Kennung ist vorgetäuscht. Die zweite besteht Hin- und Rückabfrage.
So gehen Sie es an
- Lassen Sie sich vom Hoster die Zugriffe der letzten Woche mit der Kennung Googlebot ausgeben, mit IP-Adresse und Statuscode.
- Lassen Sie einige dieser IP-Adressen mit der doppelten DNS-Abfrage prüfen.
- Fragen Sie den Anbieter Ihrer Firewall oder Ihres Bot-Schutzes, ob er Suchmaschinen-Crawler an Googles IP-Listen erkennt und wie die Einstellung dafür heißt.
- Prüfen Sie in der Search Console mit dem URL-Prüftool und „Live-URL testen“, ob Google Ihre Startseite und eine Unterseite abrufen kann.
Mehr zu diesem Thema
Weiter im Prüfbereich Indexierung
- Wie prüfe ich selbst, ob Google meine Seiten findet?Mit Browser und Search Console sehen Sie in Minuten, ob Google Ihre Seiten abrufen, lesen und zeigen darf: Quelltext, robots.txt, erfundene und alte Adressen.
- Was passiert, wenn Google meine Website nicht findet?Ohne Platz im Index gibt es weder Suchergebnis noch KI-Antwort. Was der Index ist, warum Google keine Aufnahme verspricht, welche Zustände eine Seite hat.
- Wozu brauchen robots.txt und Sitemap einander?Die robots.txt soll auf die Sitemap verweisen, und die Sitemap muss abrufbar sein. Geprüft wird die ganze Kette bis zur richtigen Domain.
- Was passiert mit alten Adressen nach einem Website-Relaunch?Früher indexierte Adressen, die nach einem Relaunch Fehler liefern, fallen aus dem Suchindex, und der Wert eingehender Verweise verfällt mit ihnen.
Dieser Prüfpunkt gehört zum Prüfbereich Indexierung; dort stehen alle Prüfpunkte im Überblick. Was die Prüfung insgesamt leistet, zeigt die Leistungsseite; wie ein Ergebnis zustande kommt, erklärt das Prüfverfahren. Alle Prüfbereiche im Überblick: Wissensbasis.




