This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
GEO / MI
Az én robotjaim blokkolják a ChatGPT, Claude és Perplexity MI-kúszóit?
Hogy egy weboldal megjelenhet-e a ChatGPT, Claude vagy Perplexity válaszaiban, az nem a szövegben, hanem egy kis fájlban a root könyvtárban: a robots.txt. Minden mászónak megmondja, mit olvasson. A MI-szolgáltatók saját nevükkel üzemeltetik a mászkálókat - GPTBot és OAI SearchBot az OpenAI-hoz, ClaudeBot az Anthropic-hoz, PerplexityBot a Perplexity-hez, Google Extended for AI used on Google. Ha az egyik ilyen név vagy az összes robot teljesen be van tiltva a fájlban, a rendszer oldala nem létezik. A GEO ellenőrző terület a domain robotjait olvassa, és minden blokkot jelent.
Hogy a csekk mit ír az aktában
A Robots.txt csoportokból áll: mindegyik egy vagy több felhasználóügynök sorral kezdődik, és megnevezi, hogy mi megengedett és mi tilos. Minden ismert MI-mászó esetében a vizsgálati terület először a saját csoportját keresi; ha nincsenek, a csoport minden, csillaggal jelölt robotra vonatkozik. Csak a teljes teljesítményre vonatkozó tilalom számít blokknak, azaz a Kitagadott vonal egyetlen vágással. Az egyes útvonalakon - például belső területen vagy keresési eredményen - történő tilalom normális, és semmilyen pontba nem kerül. Ha az összes vizsgált csúszómászó be van zárva, a szabály a nulla a tizenkét pont; Az emberek zárva, hattal. Ha a fájl teljesen hiányzik, vagy elérhetetlen, semmi nem tekinthető zárt, és nem lehet olvasni miatt hálózati hiba, a szabály továbbra is levonás nélkül, Az ismeretlen soha nem lesz hiány.
A zár lehet kívánni - akkor az eredmény a megerősítés
Egyes üzemeltetők szándékosan blokkolják az AI-mászókat, mert nem akarják, hogy szövegeik nyelvi modellekbe folyjanak. Ez egy jogos döntés, és a megállapítás nem mond ellent: kijelenti, hogy a blokk működik, és ezért az oldalt nem idézik. Ha mind a védelmet, mind a láthatóságot szeretné, különbséget tehet: OAI SearchBot és PerplexityBot használják keresésre és idézésre, GPTBot és Google- Extended használják a képzés. A tudatos döntésnél azonban gyakoribb a észrevétlen: biztonsági bővítmények és másolt sablonok blokkolnak minden ismeretlen robotot, és senki sem nézett. Erre való a kutatás. A megosztás egy sor az aktában; A következő kúszásnál működik.
- Nyissa meg a robots.txt a domain a böngészőben, és keresse meg a neveket GPTBot, OAI- SearchBot, ClaudeBot, PerplexityBot és Google- Extended, valamint egy csoport minden robotok eltiltás és vágás.
- Döntse el tudatosan: Láthatóság a MI válaszokban vagy védelem a képzés használata ellen - és különböztesse meg a keresőket a betáplálóktól.
- A takaróbotzárak biztonsági bővítményeinek és sablonjainak ellenőrzése; Ők a leggyakoribb ok.
- A változtatás után ellenőrizze újra az oldalt; a robots.txt minden egyes vizsgálathoz frissen olvasható.
