Questa traduzione non è ancora stata rivista dalla redazione. Fa fede la versione tedesca. Deutsche Fassung →
robots.txt e Sitemap: i due file che controllano l'accesso
Il verificatore controlla se robots.txt nomina una sitemap e se è raggiungibile. robots.txt controlla ciò che può essere recuperato; la sitemap dice cosa esiste affatto - due compiti diversi che spesso vengono confusi.
- L'errore più comune è un riferimento a una sitemap che non esiste più o che si trova su un host diverso. Il verificatore segnala entrambi, perché un riferimento morto ha lo stesso effetto di nessuno.
- Il secondo più comune è un'esclusione che blocca troppo — ad esempio una directory con fogli di stile e script. I motori di ricerca non possono quindi rappresentare correttamente la pagina e la valutano di conseguenza.
- Il servizio di verifica rispetta questa regola: gli indirizzi che la escludono per il suo token di prodotto non vengono richiesti — e l'esclusione viene segnalata esplicitamente nel risultato, invece di rappresentarla come contenuto mancante.