Esta tradução ainda não foi revista editorialmente. A versão alemã é vinculativa. Deutsche Fassung →
robots.txt e sitemap: os dois arquivos que controlam o acesso
O verificador verifica se o robots.txt nomeia um sitemap e se é acessível. O robots.txt controla o que pode ser acessado; o sitemap diz o que existe — duas tarefas diferentes, frequentemente confundidas.
- O erro mais comum é uma referência a um sitemap que não existe mais ou que está num host diferente. O verificador relata ambos, porque uma referência inativa tem o mesmo efeito que nenhuma.
- O segundo mais comum é uma exclusão que bloqueia muito — como um diretório com folhas de estilo e scripts. Os motores de busca então não conseguem renderizar a página corretamente e a classificam de acordo.
- O serviço de verificação adere a este arquivo ele mesmo: endereços que ele bloqueia para seu token de produto, ele não acessa — e indica expressamente a exclusão no resultado, em vez de apresentá-la como conteúdo ausente.