This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
GEO / AI
Blokuje můj robot.txt AI crawlers z ChatGPT, Claude a Perplexity?
Zda se webové stránky mohou objevit v odpovědích ChatGPT, Claude nebo Perplexity není rozhodnuto v textu, ale v malém souboru v kořenovém adresáři: robots.txt Každému člověku říká, co má číst. Poskytovatelé AI provozují své vlastní plazy s vlastními jmény - GPTBot a OAI SearchBot pro OpenAI, ClaudeBot pro Antropic, PerplexityBot pro Perplexity, Google Extended pro použití AI na Google. Pokud je jedno z těchto jmen nebo všech robotů v souboru zcela zakázáno, stránka tohoto systému neexistuje. Kontrola GEO oblast čte robots.txt domény a hlásí každý kompletní blok.
Jak kontrola čte, co se píše v souboru
Robots.txt se skládá ze skupin: každá z nich začíná jedním nebo více uživatel- agent řádky a názvy, co je povoleno a co je zakázáno. Pro každého známého lachtana AI, testovací oblast nejprve vyhledává svou vlastní skupinu; pokud neexistuje, skupina se vztahuje na všechny roboty, označené hvězdičkou. Pouze zákaz celého výkonu se počítá jako blok, tj. řádek Dovolit s jedním lomítkem. Zákazy na jednotlivých cestách - jako je vnitřní prostor nebo výsledek vyhledávání - jsou normální a nestojí žádné body. Pokud jsou všechny testované plazy zamčené, pravidlo je nula z dvanácti bodů; Jednotlivci jsou zamčeni, šest. Je-li soubor zcela chybí nebo nedostupný, nic není považováno za zamčené a nemůže být čteno v důsledku síťové chyby, pravidlo zůstává bez odečtení, Neznámý nikdy se stává nedostatkem.
Zámek lze chtít - pak výsledek je potvrzení
Někteří operátoři záměrně blokují AI crawlers, protože nechtějí, aby jejich texty proudily do jazykových modelů. Jedná se o legitimní rozhodnutí, a zjištění není v rozporu s tím: uvádí, že blok funguje, a že stránka tedy není citována. Pokud chcete ochranu i viditelnost, můžete rozlišovat: OAI SearchBot a PerplexityBot se používají pro vyhledávání a citaci, GPTBot a Google- Extended se používají pro školení. Běžnější než vědomé rozhodnutí, nicméně, je nepovšimnuto: bezpečnostní pluginy a kopírované šablony blokují všechny neznámé roboty, a nikdo se nikdy podíval. K tomu je ten nález. Sdílení je řádek v souboru; Funguje to na další plazení.
- Otevřete robots.txt vaší domény v prohlížeči a vyhledejte jména GPTBot, OAI- SearchBot, ClaudeBot, PerplexityBot a Google- Extended, stejně jako skupina pro všechny roboty s nedovolenou a lomítkou.
- Rozhodněte se vědomě: Viditelnost v AI odpovědích nebo ochrana před tréninkovým využíváním - a rozlište vyhledávače od tréninků.
- Zkontrolujte bezpečnostní pluginy a šablony pro deky bot zámky; Jsou nejčastější příčinou.
- Po změně se stránka znovu zkontroluje; robots.txt je čerstvě přečtena pro každou zkoušku.
