This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
GEO / UI
Ali moji roboti.txt blokirajo AI plazilce ChatGPT, Claude in Perplexity?
Ali se lahko spletna stran pojavi v odgovorih ChatGPT, Claude ali Perplexity, se v besedilu ne odloči, ampak v majhni datoteki na korenskem imeniku: roboti.txt. Vsakemu plazilcu pove, kaj naj bere. Ponudniki AI delujejo z lastnimi imeni – GPTBot in OAI SearchBot for OpenAI, ClaudeBot for Anthropic, PerplexityBot for Perplexity, Google Extended for AI use on Google. Če je eno od teh imen ali vseh botov v datoteki popolnoma prepovedano, stran za ta sistem ne obstaja. Preverjanje območje GEO prebere robote.txt domene in poroča vsak celoten blok.
Kako ček prebere, kaj piše v datoteki
Roboti.txt sestavljajo skupine: vsaka se začne z eno ali več uporabniško-agentnimi linijami in imeni, kaj je dovoljeno in kaj prepovedano. Za vsako znano AI plazeče območje najprej išče svojo skupino; če je ni, skupina velja za vse bote, označene z zvezdico. Samo prepoved celotne izvedbe šteje kot blok, tj. linija Dislow z enim poševnikom. Prepovedi na posameznih poteh – kot je notranje območje ali rezultat iskanja – so običajne in ne stanejo nobenih točk. Če so vsi testirani plazovi zaklenjeni, je pravilo nič od dvanajstih točk; Posamezniki so zaklenjeni, s šestimi. Če je datoteka popolnoma manjka ali nedostopna, se nič ne šteje za zaklenjeno in se ne more brati zaradi napake omrežja, pravilo ostane brez odbitka, Neznano nikoli ne postane pomanjkanje.
Ključavnica je lahko zaželena – potem je rezultat potrditev
Nekateri operaterji namerno blokirajo AI plazeče, ker ne želijo, da bi se njihova besedila prelila v jezikovne modele. To je legitimna odločitev in ugotovitev ji ne nasprotuje: navaja, da blok deluje, in da zato stran ni navedena. Če želite zaščito in prepoznavnost, lahko razlikujete: OAI SearchBot in PerplexityBot se uporabljata za iskanje in citiranje, GPTBot in Google Extended se uporabljata za usposabljanje. Pogostejša kot zavestna odločitev pa je neopažena: varnostni vstavki in kopirane predloge blokirajo vse neznane bote, in nihče še ni pogledal. Za to gre. Souporaba je vrstica v datoteki; Deluje na naslednji plaz.
- Odprite robote.txt vaše domene v brskalniku in poiščite imena GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot in Google-Extended, kot tudi skupino za vse robote z dislough in poševnico.
- Odločite se zavestno: Vidljivost v odzivih AI ali zaščita pred uporabo usposabljanja – in razlikovati iskalce od urjenja plazilcev.
- Preverite varnostne vstavke in predloge za odeje bot ključavnice; So najpogostejši vzrok.
- Po spremembi ponovno preverite stran; roboti.txt se sveže preberejo za vsak test.
