Questa traduzione non è ancora stata rivista dalla redazione. Fa fede la versione tedesca. Deutsche Fassung
GEO / IA
I miei robot.txt bloccano i crawler AI di ChatGPT, Claude e Perplexity?
Se un sito web può apparire nelle risposte di ChatGPT, Claude o Perplexity non è deciso nel testo, ma in un piccolo file nella directory principale: robots.txt. Dice ad ogni crawler cosa leggere. I fornitori di AI operano i propri crawler con i propri nomi — GPTBot e OAI SearchBot per OpenAI, ClaudeBot per Antropic, PerplexityBot for Perplexity, Google Extended per l'uso AI su Google. Se uno di questi nomi o tutti i bot è completamente vietato nel file, la pagina per questo sistema non esiste. L'area di controllo GEO legge i robots.txt del dominio e segnala ogni blocco completo.
Come il controllo legge ciò che il file dice
Un robots.txt è composto da gruppi: ognuno inizia con una o più linee di user-agent e nomi ciò che è permesso e ciò che è proibito. Per ogni noto strisciatore AI, l'area di prova prima cerca il proprio gruppo; se non ce ne sono, il gruppo si applica a tutti i bot, contrassegnati con un asterisco. Solo un divieto di tutte le prestazioni conta come un blocco, cioè la linea Disallow con un singolo slash. I bandi su percorsi individuali — come un'area interna o un risultato di ricerca — sono normali e non costano punti. Se tutti i crawler testati sono bloccati, la regola è zero di dodici punti; Gli individui sono bloccati, con sei. Se il file è completamente mancante o irraggiungibile, nulla è considerato bloccato e non può essere letto a causa di un errore di rete, la regola rimane senza deduzione, L'ignoto non diventa mai una mancanza.
Una serratura può essere ricercata – allora il risultato è la conferma
Alcuni operatori bloccano deliberatamente i crawler AI perché non vogliono che i loro testi fluiscano in modelli di lingua. Questa è una decisione legittima, e il ritrovamento non lo contraddice: afferma che il blocco funziona, e che la pagina non è quindi citata. Se si desidera protezione e visibilità, è possibile differenziare: OAI SearchBot e PerplexityBot sono utilizzati per la ricerca e citazione, GPTBot e Google-Extended sono utilizzati per la formazione. Più comune della decisione cosciente, tuttavia, è l'inosservato: plugin di sicurezza e modelli copiati bloccano tutti i bot sconosciuti, e nessuno ha mai guardato. E' a questo che serve il ritrovamento. La condivisione è una linea nel file; Funziona sulla prossima striscia.
- Aprire il robots.txt del vostro dominio nel browser e cercare i nomi GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended, così come un gruppo per tutti i bot con disallow e slash.
- Decidere consapevolmente: Visibilità nelle risposte dell'IA o protezione contro l'uso di formazione — e distinguere i crawler di ricerca da crawler di formazione.
- Controllare i plugin di sicurezza e i modelli per le serrature del robot di coperta; Sono la causa più comune.
- Fai controllare nuovamente la pagina dopo una modifica; il robots.txt è appena letto per ogni test.
