This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung →
AI mászó robots.txt: aki kizárja nem idézett
A válaszgépek csak azt idézik, amit a mászók olvashatnak. Ha a robotts.txt egy weboldal blokkolja GPTBot, OAI- SearchBot, ClaudeBot, PerplexityBot vagy Google- Extended with "Disallow: /", az oldal nincs jelen a rendszerek - függetlenül attól, hogy milyen jó tartalom és szerkezet. Az ellenőrző terület a domain robotját olvassa, és minden blokkot jelent.
- A blokk lehet tudatos döntés, például szerzői jogi okokból. Akkor a megállapítás nem hiba, de a megerősítés, hogy a döntés működik - aki azt akarja, AI láthatóság, törli azt.
- Sok zárak jönnek a másolt sablonok vagy plugin előre, hogy titokban zárja ki az összes botok. Ellenőrizze, hogy a zár kívánt.
- A részleges menetvonalak zárolása megengedett, és nem számít blokknak: "Megengedett: / belső /" a nyilvános tartalom olvasható.
