Na vsebino
EUID Storitev preverjanja & pečat, Domača stran
Naročite preverjanje spletnega mesta

This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung

Indeksiranje

Kako prepoznam pravega Googlebota?

Na IP naslovu, nikoli na ime. Identifikator "Googlebot" v protokolu dostopa je oznaka pošiljatelja, in vsak program ga lahko pošlje; Google sam piše, da ga pogosto ponaredijo drugi plazilci. Real je dostop, če njegov IP naslov pripada Googlu. Google za vsak primer posebej omenja dvojno poizvedbo v sistemu poimenovanja interneta (DNS), sezname njegovih IP področij, ki so objavljena za požarni zid in zaščito pred botom.

Identifikator ne dokazuje ničesar

Vsako priklicanje spletne strani kaže na to, kdo zahteva. Nihče ne preverja teh informacij. Google kliče pošiljatelje in druge povzročitelje težav, ki dostopajo do spletnih strani in se pretvarjajo, da so Google. Prav tako, preverjanje orodij pošlje identifikator, da bi videli, kaj spletni iskalnik zagotavlja. Za vaš požarni zid ima to posledice v obeh smereh. Kdor zaupa imenu, spusti mimo posnemovalce. In kdor zavira s tem imenom na splošno, ker jih je veliko, lahko sreča pravega plazilca.

Posamezni primer: vprašanja v DNS

Za en IP naslov iz protokola dostopa Google opisuje to pot. Povratna poizvedba sprašuje, kateremu imenu pripada naslov IP. Ime se mora končati na googlebot.com, google.com ali googleusercontent.com. Predhodna poizvedba sprašuje, kateri IP naslov pripada temu imenu. Biti mora enako kot v zapisniku. Navzkrižno preverjanje je potrebno, ker nazaj vstop določi lastnik IP naslova. Vaš gostitelj obravnava obe poizvedbi z ukazom gostitelja; Spodnji primer prikazuje Googlov lastni vzorčni naslov.

Trajna rešitev: Googlov seznam IP

Google za zaščito pred požarnim zidom in botom objavlja IP področja svojih plazilcev kot datoteke, ločeno po vrsti dostopa. Datoteka Common-crawlers.json označuje naslove splošnih plazilcev, kot je Googlebot; vedno se držijo robotov.txt, ko so samodejno pridobljeni. Posebno-krawlers.json datoteka velja za posebne primere, kot so AdsBot. Druge datoteke veljajo za zahteve uporabnika; Google kot primer navaja potrditev lastništva spletne strani. Takšni klici niso odvisni od robotov.txt. Naslovi so v datotekah kot področja v CIDR črkovanju. Varovanje, ki bere te sezname, omogoča pravi promet in mu ni treba zaupati imena.

Kaj se zgodi, če zaščita zavrne pravega Googlebot

Če se zaščita odziva na pravi Googlebot z napako 4xx serije, okoli 403, Google to obravnava kot stran, ki ne obstaja: vsi 4xx odzivi, razen 429, se obravnavajo enako, naslov pa se odstrani iz indeksa. Pri 429 in napakah serije 5xx Google začasno upočasni priklic. Obiskovalci tega ne opazijo, spletna stran nalaga kot vedno. Postane vidna v konzoli iskanja: v poročilu o indeksiranju strani in v orodje za preverjanje URL-ja, katerega preskus v živo kaže, kaj Google trenutno dobiva.

Isti vzorec za plazilce z AI

OpenAI objavlja tudi IP naslove svojih plazilcev, seznam za uporabnike GPTBot, OAI SearchBot in ChatGPT. Vsakdo, ki se želi pojaviti v iskanju ChatGPT, bi moral po mnenju OpenAI dovoliti OAI SearchBot v robotih.txt in omogočiti dostop z objavljenih IP področij skozi. Bojna zaščita se tako lahko odloči tudi po izvoru. Kateri od teh plazilcev je tvoje vprašanje. Ona odgovori na članek "Ali lahko blokiram AI plazove, in kaj se vdam?".

Primeri

Dva dostopa z identifikatorjem Googlebot

Ni izpolnjeno
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)
Izpolnjeno
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Za prvi naslov na Googlu ni imena: identifikator je ponarejen. Druga je nazaj in naprej.

  • Naj gostitelj izpiše promet prejšnjega tedna z identifikatorjem Googlebot, z IP naslovom in statusno kodo.
  • Naj bodo nekateri od teh naslovov IP preverjeni s podvojeno poizvedbo DNS.
  • Ponudnika požarnega zidu ali zaščite pred roboti vprašajte, ali prepozna iskalnike na Googlovem IP seznamu in kako se imenuje nastavitev.
  • V konzoli Search, uporabite orodje za preverjanje URL in "Test Live URL", da vidite, ali lahko Google pridobi vašo domačo stran in podstran.

Več o tej temi

Deutsche Fassung dieser Seite

  • Pečat Digitale Barrierefreiheit
  • Pečat Daten & Recht
  • Pečat Technische Qualität
  • Pečat Digital Excellence
  • Pečat Cyberversicherung

Preverjeno. Za boljšo digitalno prihodnost.euid.com