This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
GEO / AI
Blokujú moje roboty.txt pátračov po UI z ChatGPT, Claude a Perplexity?
Či sa webová stránka môže objaviť v odpovediach ChatGPT, Claude alebo Perplexity nie je rozhodnuté v texte, ale v malom súbore v koreňovom adresári: robots.txt. Vraví všetkým, čo majú čítať. Poskytovatelia AI prevádzkujú svoje vlastné crawers s vlastnými menami Ak je v súbore úplne zakázané jedno z týchto mien alebo všetky roboty, stránka tohto systému neexistuje. Kontrolná oblasť GEO číta roboty.txt domény a hlási každý celý blok.
Ako kontrola číta, čo súbor hovorí
Roboti.txt sa skladá zo skupín: každý z nich začína s jedným alebo viacerými užívateľskými líniami a menami, čo je povolené a čo je zakázané. V prípade každého známeho jazdca na umelej inteligencii sa testovacia oblasť najprv vyhľadáva pre svoju vlastnú skupinu; ak nie je žiadna, skupina sa vzťahuje na všetky roboty označené hviezdičkou. Iba zákaz celého výkonu sa počíta ako blok, t.j. čiara Nesúhlasiť s jedným lomítkom. Zákazy na jednotlivých cestách, ako je vnútorný priestor alebo výsledok vyhľadávania, sú normálne a nestojí žiadne body. Ak sú všetky testované lezce uzamknuté, pravidlo je nulové z dvanástich bodov; Jednotlivci sú zamknutí, so šiestimi. Ak je súbor úplne chýba alebo nedosiahnuteľný, nič nie je považované za zamknuté a nemohli byť čítané kvôli sieťovej chybe, pravidlo zostáva bez odpočítania, Neznámy sa nikdy nestane nedostatkom.
Zámok môže byť žiadaný
Niektorí operátori zámerne blokujú preliezačky AI, pretože nechcú, aby ich texty prúdili do jazykových modelov. Je to legitímne rozhodnutie a zistenie nie je v rozpore s ním: uvádza, že blok funguje, a že strana sa preto neuvádza. Ak chcete ochranu aj viditeľnosť, môžete rozlišovať: OAI SearchBot a PerplexityBot sú používané pre vyhľadávanie a citáciu, GPTBot a Google-Extended sú používané pre školenia. Častejšie ako vedomé rozhodnutie, však, je bez povšimnutia: bezpečnostné pluginy a skopírované šablóny blokovať všetky neznáme roboty, a nikto nikdy hľadal. Na to je ten nález. Zdieľanie je riadok v súbore; Funguje to na ďalšom plaze.
- Otvorte roboty.txt domény v prehliadači a vyhľadajte mená GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot a Google-Extended, ako aj skupinu pre všetky roboty s neznesiteľným a slash.
- Rozhodnite sa vedome: Viditeľnosť v odpovediach AI alebo ochrana proti použitiu tréningu.
- Skontrolujte bezpečnostné pluginy a šablóny pre deke bot zámky; Sú najčastejšou príčinou.
- Po zmene opäť zaškrtnite stránku; roboty.txt sú pre každú skúšku čerstvo čítané.
