This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
GEO / ИИ
Дали моите роботи.txt блокират AI пълзящите на ChatGPT, Клод и Perplexity?
Дали един сайт може да се появи в отговорите на ChatGPT, Клод или Perplexity не е решено в текста, но в малък файл в главната директория: роботите.txt. Казва на всички какво да четат. Доставчиците на AI оперират собствените си гърмящи с техните имена GPTBot и OAI SearchBot за OpenAI, ClaudeBot за Anthropic, PerplexityBot за Perplexity, Google Extended for AI use on Google. Ако едно от тези имена или всички ботове е напълно забранено във файла, страницата за тази система не съществува. В GEO проверка област чете robots.txt на домейн и докладва всеки пълен блок.
Как чекът чете какво пише във файла
Роботи.txt се състои от групи: всеки започва с една или повече линии потребител-агент и имена какво е позволено и какво е забранено. За всеки известен AI пълзящ, тестовата зона първо търси за собствената си група; ако няма такава, групата се прилага за всички ботове, маркирани със звездичка. Само забраната на цялото изпълнение се брои за блок, т.е. линията "Недостигане" с една наклонена черта. Забраната за индивидуални кътчета.. като вътрешна зона или резултат от търсене... са нормални и не струват точки. Ако всички тествани пълзящи са заключени, правилото е нула от дванадесет точки; Хората са заключени с шест. Ако файлът е напълно липсващ или недостъпен, нищо не се счита за заключено и не може да бъде прочетено поради грешка в мрежата, правилото остава без приспадане, Неизвестното никога не се превръща в липса.
Заключване може да бъде търсен.. Тогава резултатът е потвърждение
Някои оператори умишлено блокират AI пълзящи, защото не искат текстовете им да се вливат в езикови модели. Това е легитимно решение и констатацията не противоречи на това: той заявява, че блокът работи и следователно страницата не се цитира. Ако искате защита и видимост, можете да различите: OAI SearchBot и PerplexityBot се използват за търсене и цитиране, GPTBot и Google-Extended се използват за обучение. По-често от съзнателното решение, обаче, е незабелязано: сигурност плъгини и копирани шаблони блокират всички непознати ботове, и никой не е търсил. За това е находката. Споделянето е линия във файла; Работи при следващото пълзене.
- Отворете robots.txt на вашия домейн в браузъра и търсете имената GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и Google-Extended, както и група за всички ботове с незачитане и наклон.
- Решете съзнателно: видимост в отговорите на ИИ или защита от използване за обучение – и разграничавайте роботите за търсене от роботите за обучение.
- Проверете приставките за сигурност и шаблоните за завиване на ключалки; Те са най-честата причина.
- Проверете страницата отново след промяна; robots.txt се чете прясно за всеки тест.
