Deze vertaling is nog niet redactioneel gecontroleerd. De Duitse versie is leidend. Deutsche Fassung
Indexering
Hoe herken ik de echte Googlebot?
Op het IP-adres, nooit bij de naam. De identificatie "Googlebot" in het toegangsprotocol is een indicatie van de afzender, en elk programma kan het verzenden; Google zelf schrijft dat het vaak wordt vervalst door andere crawlers. Real is toegang als het IP-adres van Google is. Van geval tot geval vermeldt Google een dubbele query in het Internetnaamsysteem (DNS), lijsten van IP-gebieden die zijn gepubliceerd voor firewall en botbescherming.
De identificatie bewijst niets
Elke zoektocht van een website geeft aan in de header gebruiker-agent die vraagt. Niemand controleert deze informatie. Google belt spammers en andere onruststokers die toegang hebben tot websites en doen alsof ze Google zijn. Ook, controle tools sturen de identificatiecode om te zien wat een website zoekmachine levert. Voor je firewall heeft dit gevolgen in beide richtingen. Wie de naam vertrouwt, laat imitatoren door. En wie de toegang met deze naam in het algemeen afremt, want er zijn opvallend veel, kan de echte crawler ontmoeten.
Het individuele geval: heen en weer vragen in de DNS
Voor een enkel IP-adres van het toegangsprotocol beschrijft Google dit pad. De omgekeerde vraag vraagt naar de naam van het IP-adres. De naam moet eindigen op googlebot.com, google.com of googleusercontent.com. De doorsturende vraag vraagt welk IP-adres bij deze naam hoort. Het moet hetzelfde zijn als in de notulen. De cross-check is noodzakelijk omdat de achterwaartse ingang wordt bepaald door de eigenaar van een IP-adres. Uw hoster behandelt beide vragen met het host commando; Het voorbeeld hieronder toont het eigen monsteradres van Google.
De permanente oplossing: de IP-lijsten van Google
Voor firewall- en botbescherming publiceert Google de IP-gebieden van zijn crawlers als bestanden, afzonderlijk per soort toegang. De common-crawlers.json bestand geeft de adressen van algemene crawlers zoals Googlebot; ze altijd vasthouden aan de robots.txt wanneer automatisch opgehaald. Het speciale-crawlers.json bestand is van toepassing op speciale gevallen zoals de AdsBot. Andere bestanden zijn van toepassing op verzoeken van een gebruiker; Google citeert als voorbeeld de bevestiging van de eigendom van een website. Dergelijke oproepen zijn niet afhankelijk van de robots.txt. De adressen bevinden zich in de bestanden als gebieden in CIDR spelling. Een bescherming die deze lijsten leest laat echt verkeer door en hoeft de naam niet te vertrouwen.
Wat gebeurt er als bescherming de echte Googlebot afwijst
Als bescherming reageert op de echte Googlebot met een fout van de 4xx serie, ongeveer 403, behandelt Google dit als een pagina die niet bestaat: alle 4xx antwoorden behalve 429 worden hetzelfde behandeld, en het adres wordt verwijderd van de index. Bij 429 en fouten van de 5xx serie vertraagt Google tijdelijk het ophalen. Bezoekers merken het niet, de website laadt zoals altijd. Het wordt zichtbaar in de Zoekconsole: in de pagina indexeren rapport en in de URL-controle tool, waarvan de live-test toont wat Google nu krijgt.
Zelfde monster voor AI kruipers
OpenAI publiceert ook de IP-adressen van zijn crawlers, een lijst voor GPTBot, OAI SearchBot en ChatGPT gebruikers. Iedereen die wil verschijnen in de zoektocht naar ChatGPT moet, volgens OpenAI, toestaan dat de OAI SearchBot in de robots.txt en laat toegang vanaf de gepubliceerde IP-gebieden door. Een botbescherming kan dus ook hier naar herkomst beslissen. Welke van deze kruipers je toestaat is je eigen vraag; Ze antwoordt het artikel "Kan ik AI kruipers blokkeren, en wat geef ik op?".
Voorbeelden
Twee toegangen met de identificatie Googlebot
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1Voor het eerste adres is er geen naam op Google: de identificatie wordt vervalst. De tweede is heen en weer.
- Laat de hoster het verkeer van de laatste week uitvoeren met de identificatie Googlebot, met IP-adres en statuscode.
- Laat sommige van deze IP-adressen controleren met de dubbele DNS-query.
- Vraag de provider van uw firewall of bot bescherming als het herkent zoekmachine crawlers op Google.
- Gebruik in Search Console de URL-verificatietool en "Test Live URL" om te zien of Google uw homepage en een subpagina kan ophalen.




