This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Indexace
Jak poznám skutečného Googlebota?
Na IP adrese, nikdy na jméno. Identifikátor "Googlebot" v přístupovém protokolu je indikací odesílatele a každý program jej může odeslat; Google sám píše, že je často zfalšován jinými plazy. Real je přístup, pokud jeho IP adresa patří Google. Na základě případu-by-case, Google zmiňuje dvojí dotaz v systému internetového pojmenování (DNS), seznamy jeho IP oblastí zveřejněných pro ochranu firewall a bot.
Identifikátor nic nedokazuje
Každé vyhledání webové stránky indikuje v hlavičkovém uživatelském agentovi, který žádá. Tuhle informaci nikdo nekontroluje. Google volá spammers a další potížisty, kteří přístup na webové stránky a předstírat, že Google. Také kontrolní nástroje odeslat identifikátor zjistit, co webové stránky vyhledávače dodávají. Pro váš firewall to má následky v obou směrech. Kdokoliv věří jménu, nechá imitátory projít. A ten, kdo se zastaví s tímto jménem obecně, protože tam jsou nápadní mnozí, může setkat se skutečným crawler.
Individuální případ: tam a zpět dotazy v DNS
Pro jednu IP adresu z přístupového protokolu Google popisuje tuto cestu. Zpětný dotaz se ptá, ke kterému jménu IP adresa patří. Název musí skončit na googlebot.com, google.com nebo googleusercontent.com. Dotaz dopředu se ptá, která IP adresa patří tomuto jménu. Musí být stejné jako v zápisu. Zkřížená kontrola je nezbytná, protože zpětný vstup je určen vlastníkem IP adresy. Váš hostitel řeší oba dotazy s hostitelským velením; Níže uvedený příklad ukazuje vlastní vzorovou adresu Google.
Trvalé řešení: IP seznamy společnosti Google
Pro ochranu firewall a bot, Google zveřejňuje IP oblasti svých crawlers jako soubory, odděleně podle typu přístupu. Soubor common-crawlers.json označuje adresy obecných crawlers, jako je Googlebot; vždy se drží robots.txt při automatickém vyzvednutí. Soubor special- crawlers.json se vztahuje na zvláštní případy jako AdsBot. Další soubory se vztahují na žádosti uživatele; Google uvádí jako příklad potvrzení vlastnictví webové stránky. Takové volání nezávisí na robot.txt Adresy jsou v souborech jako oblasti v CIDR pravopisu. Ochrana, která čte tyto seznamy umožňuje prostřednictvím skutečné dopravy a nemusí věřit názvu.
Co se stane, když ochrana odmítne skutečného Googlebota
Pokud ochrana reaguje na skutečný Googlebot s chybou ze série 4xx, o 403, Google zachází s tímto jako se stránkou, která neexistuje: všechny 4xx odpovědi s výjimkou 429 jsou považovány za stejné, a adresa je odstraněna z indexu. Při 429 a chybách řady 5xx Google dočasně zpomaluje vyhledávání. Návštěvníci si toho nevšimnou, webové stránky se načítají jako vždy. Zviditelňuje se ve vyhledávací konzoli: ve zprávě o indexování stránek a v nástroji pro kontrolu URL, jehož živý test ukazuje, co Google právě dostává.
Stejný vzorek pro lachtany rodu AI
OpenAI také zveřejňuje IP adresy svých plazů, seznam uživatelů GPTBot, OAI SearchBot a ChatGPT. Každý, kdo se chce objevit při hledání ChatGPT by podle OpenAI, měl povolit OAI SearchBot v robots.txt a nechat přístup z publikovaných IP oblastí přes. Ochrana bot tak může rozhodnout i zde podle původu. Která z těch plazidel je vaše vlastní otázka; Odpověděla na článek "Mohu blokovat AI crawlers, a co mám vzdát?".
Příklady
Dva přístupy s identifikátorem Googlebot
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1Pro první adresu není na Googlu žádné jméno: identifikátor je zfalšován. Druhý je tam a zpět.
- Dovolit Hoster výstup provozu za poslední týden s identifikátorem Googlebot, s IP adresou a kódem stavu.
- Některé z těchto IP adres zkontrolujte pomocí duplikátu DNS dotazu.
- Zeptejte se poskytovatele vaší ochrany firewall nebo bot, zda rozpoznává vyhledávače na IP seznamech Google a jak se nastavení nazývá.
- V Search Console použijte nástroj pro ověření URL a "Test Live URL", abyste zjistili, zda Google dokáže získat vaši domovskou stránku a podstránku.




