This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung →
Al plazilec v robotih.txt: kdo zaklene ven ni naveden
Odgovorni stroji navajajo samo to, kar jim je dovoljeno brati. Če roboti.txt spletne strani blokira GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ali Google-Razširjen z “Razlaga: /”, stran ni prisotna za te sisteme – ne glede na to, kako dobro vsebino in strukturo so. Pregledno območje prebere robote.txt domene in poroča vsak celoten blok.
- Blok je lahko zavestna odločitev, na primer zaradi avtorskih pravic. Potem ugotovitev ni napaka, ampak potrditev, da odločitev deluje – kdor želi AI vidljivost, jo prekliče.
- Številne ključavnice prihajajo iz kopiranih predlog ali plugin prednastavitve, ki odeje zaklepajo vse bote. Preverite, če je ključavnica zaželena.
- Zaklenjene delne poti so dovoljene in se ne štejejo kot blok: »Disallow: /notranja/« pušča javno vsebino berljivo.
