Questa traduzione non è ancora stata rivista dalla redazione. Fa fede la versione tedesca. Deutsche Fassung →
AI crawler in robots.txt: chi chiude fuori non è citato
Le macchine di risposta citano solo ciò che i loro crawler sono autorizzati a leggere. Se il robots.txt di un sito blocca GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot o Google-Extended con “Disallow: /”, la pagina non è presente per questi sistemi – indipendentemente da quanto buon contenuto e struttura sono. L'area di controllo legge robots.txt del dominio e segnala ogni blocco completo.
- Il blocco può essere una decisione consapevole, per esempio per motivi di copyright. Poi il ritrovamento non è un errore, ma la conferma che la decisione funziona – che vuole visibilità AI, cancella.
- Molte serrature provengono da modelli copiati o preset plugin che bloccano completamente tutti i bot. Controlla se la serratura è desiderata.
- Bloccare percorsi parziali è consentito e non conta come un blocco: “Disallow: /internal/” lascia il contenuto pubblico leggibile.
