This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Indexácia
Ako spoznám skutočného Googlebota?
Na IP adresu, nikdy na meno. Identifikátor "Googlebot" v prístupovom protokole je údaj o odosielateľovi, a každý program ho môže poslať; Google sám píše, že je často falošný inými plazmi. Real je prístup, ak jeho IP adresa patrí Google. V jednotlivých prípadoch spoločnosť Google uvádza dvojitý dotaz v systéme internetového pomenovania (DNS), zoznamy IP oblastí uverejnených pre firewall a ochranu botov.
Identifikátor nič nedokazuje
Každé vyhľadávanie webovej stránky uvádza v hlavičke užívateľa, ktorý žiada. Nikto nekontroluje tieto informácie. Google telefonuje spamerom a iným problémovým tvorcom, ktorí majú prístup k webovým stránkam a predstierajú, že sú Google. Tiež, kontrola nástroje poslať identifikátor zobraziť, čo vyhľadávač webových stránok dodáva. Pre váš firewall to má následky v oboch smeroch. Ktokoľvek verí tomu menu, prepustí imitátorov. A ten, kto brzdí prístup s týmto menom všeobecne, pretože je tu veľa nápadných, sa môže stretnúť so skutočným jazdcom.
Individuálny prípad: otázky v DNS
Pre jednu IP adresu z prístupového protokolu, Google opisuje túto cestu. Spätný dotaz sa pýta, do ktorého názvu patrí IP adresa. Názov musí skončiť na googlebot.com, google.com alebo googleusercontent.com. Dotaz dopredu sa pýta, ktorá IP adresa patrí tomuto názvu. Musí to byť to isté ako v zápisnici. Krížová kontrola je potrebná, pretože spätný vstup určuje vlastník IP adresy. Váš hostiteľ rieši obe otázky príkazom hostiteľa; Nižšie uvedený príklad znázorňuje adresu Google a vlastnú adresu vzorky.
Trvalé riešenie: IP zoznamy Google
V prípade ochrany firewallu a robota spoločnosť Google zverejňuje IP oblasti svojich prístreškov ako súbory, osobitne podľa typu prístupu. Súbor common-crawlers.json označuje adresy všeobecných crawlerov, ako je Googlebot; vždy pristupujú k robotom.txt pri automatickom načítaní. Špeciálny-crawlers.json súbor sa vzťahuje na špeciálne prípady, ako je AdsBot. Ďalšie súbory sa vzťahujú na žiadosti užívateľa; Google uvádza ako príklad potvrdenie vlastníctva webovej stránky. Takéto hovory nezávisia od robotov.txt. Adresy sú v súboroch ako oblasti v hláskovaní CIDR. Ochrana, ktorá číta tieto zoznamy umožňuje cez skutočnú premávku a nemusí veriť názvu.
Čo sa stane, ak ochrana odmietne skutočný Googlebot
Ak ochrana reaguje na skutočný Googlebot s chybou série 4xx, asi 403, Google zaobchádza s touto ako stránka, ktorá neexistuje: všetky 4xx odpovede okrem 429 sú zaobchádzané rovnako, a adresa je odstránený z indexu. Pri 429 a chybách zo série 5xx spoločnosť Google dočasne spomaľuje vyhľadávanie. Návštevníci si to nevšimnú, webové stránky zaťaženie ako vždy. To sa stáva viditeľným v Search Console: v správe indexovanie stránky a v nástroji kontroly URL, ktorého live test ukazuje, čo Google dostáva práve teraz.
Rovnaká vzorka pre AI plazov
OpenAI tiež publikuje IP adresy svojich prívržencov, zoznam pre užívateľov GPTBot, OAI SearchBot a ChatGPT. Každý, kto sa chce objaviť pri vyhľadávaní ChatGPT, by mal podľa OpenAI povoliť OAI SearchBot v robotoch.txt a umožniť prístup z uverejnených IP oblastí. Ochrana robota sa teda môže rozhodnúť aj tu podľa pôvodu. Ktoré z týchto plazov dovolíte, je vaša vlastná otázka; Odpovedá na článok "Môžem zablokovať pátranie po umelej inteligencii a čo sa vzdám?".
Príklady
Dva prístupy s identifikátorom Googlebot
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1Pre prvú adresu nie je na Google žiadne meno: identifikátor je sfalšovaný. Druhá je tam a späť.
- Nech hostingista výstup prevádzku za posledný týždeň s identifikátorom Googlebot, s IP adresa a stavový kód.
- Máte niektoré z týchto IP adries skontrolovať s duplikát DNS dotazu.
- Opýtajte sa poskytovateľa vášho firewallu alebo ochrany robotov, ak rozpozná prehľadávače vyhľadávačov na zoznamoch IP Googles a ako sa nastavuje.
- Pri vyhľadávaní Console použite nástroj na overenie URL a "Test Live URL," aby ste zistili, či Google dokáže získať vašu domovskú stránku a podstránku.




