Vai al contenuto
EUID Servizio di verifica & sigillo, Pagina iniziale
Far verificare il sito

Questa traduzione non è ancora stata rivista dalla redazione. Fa fede la versione tedesca. Deutsche Fassung

Indicizzazione

Come riconosco il vero Googlebot?

All'indirizzo IP, mai al nome. L'identificatore "Googlebot" nel protocollo di accesso è un'indicazione del mittente, e qualsiasi programma può inviarlo; Google stesso scrive che è spesso falsificato da altri crawler. Real è l'accesso se il suo indirizzo IP appartiene a Google. In caso di caso per caso, Google menziona una doppia query nel sistema di denominazione Internet (DNS), elenchi delle sue aree IP pubblicate per il firewall e la protezione del bot.

L'identificatore non prova nulla

Ogni recupero di un sito web indica nell'intestazione utente-agente che sta richiedendo. Nessuno controlla queste informazioni. Google chiama spammer e altri creatori di problemi che accedono ai siti web e fingono di essere Google. Inoltre, gli strumenti di controllo inviano l'identificatore per vedere che cosa fornisce un motore di ricerca del sito. Per il vostro firewall, questo ha conseguenze in entrambe le direzioni. Chiunque si fidi del nome, lascia passare gli imitatori. E chiunque freni accede con questo nome in generale, perché ci sono molti cospicui, può incontrare il vero crawler.

Il singolo caso: domande avanti e indietro nel DNS

Per un unico indirizzo IP dal protocollo di accesso, Google descrive questo percorso. La query inversa chiede a quale nome appartiene l'indirizzo IP. Il nome deve finire su googlebot.com, google.com o googleusercontent.com. La query inoltrata chiede quale indirizzo IP appartiene a questo nome. È la stessa cosa del processo verbale. Il cross-check è necessario perché l'ingresso posteriore è determinato dal proprietario di un indirizzo IP. Il tuo hoster gestisce entrambe le domande con il comando host; L'esempio seguente mostra l'indirizzo del campione di Google.

La soluzione permanente: gli elenchi IP di Google

Per il firewall e la protezione del bot, Google pubblica le aree IP dei suoi crawler come file, separatamente per tipo di accesso. Il file common-crawlers.json indica gli indirizzi dei crawler generali come Googlebot; aderiscono sempre al robots.txt quando vengono recuperati automaticamente. Il file special-crawlers.json si applica a casi speciali come AdsBot. Altri file si applicano alle richieste fatte da un utente; Google cita come esempio la conferma della proprietà di un sito web. Tali chiamate non dipendono dai robots.txt. Gli indirizzi sono nei file come aree nell'ortografia CIDR. Una protezione che legge queste liste permette attraverso il traffico reale e non deve fidarsi del nome.

Cosa succede se la protezione rifiuta il vero Googlebot

Se la protezione risponde al vero Googlebot con un errore della serie 4xx, circa 403, Google tratta questo come una pagina che non esiste: tutte le risposte 4xxx tranne 429 sono trattate le stesse, e l'indirizzo viene rimosso dall'indice. A 429 e gli errori della serie 5xx, Google rallenta temporaneamente il recupero. I visitatori non lo notano, il sito carica come sempre. Diventa visibile nella console di ricerca: nel rapporto di indicizzazione pagina e nello strumento di controllo URL, il cui test live mostra ciò che Google sta ottenendo in questo momento.

Stesso campione per i crawler AI

OpenAI pubblica anche gli indirizzi IP dei suoi crawler, un elenco per gli utenti GPTBot, OAI SearchBot e ChatGPT. Chiunque voglia comparire nella ricerca di ChatGPT dovrebbe, secondo OpenAI, consentire il SearchBot OAI nel robots.txt e lasciare l'accesso dalle aree IP pubblicate attraverso. Una protezione bot può così decidere qui anche per origine. Quale di questi crawler che permetti è la tua domanda; Risponde all'articolo "Posso bloccare i crawler dell'AI e cosa mi arrendo?".

Esempi

Due accessi con l'identificatore Googlebot

Non ci siamo conosciuti
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)
Completo
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Per il primo indirizzo non c'è nessun nome su Google: l'identificatore è falsificato. Il secondo è avanti e indietro.

  • Lasciare che l'hoster emetta il traffico della scorsa settimana con l'identificatore Googlebot, con indirizzo IP e codice di stato.
  • Fai controllare alcuni di questi indirizzi IP con la query DNS duplicata.
  • Chiedete al fornitore del vostro firewall o protezione del bot se riconosce i crawler del motore di ricerca sugli elenchi IP di Google e ciò che viene chiamata l'impostazione.
  • In Search Console, utilizzare lo strumento di verifica URL e "Test Live URL" per vedere se Google può recuperare la tua homepage e una sottopagina.

Altro su questo argomento

Deutsche Fassung dieser Seite

  • Sigillo Digitale Barrierefreiheit
  • Sigillo Daten & Recht
  • Sigillo Technische Qualität
  • Sigillo Digital Excellence
  • Sigillo Cyberversicherung

Verificato. Per un futuro digitale migliore.euid.com