Cette traduction n’a pas encore été relue par la rédaction. La version allemande fait foi. Deutsche Fassung →
Robots.txt et sitemap : les deux fichiers qui contrôlent l'accès
Le contrôleur vérifie si robots.txt désigne un plan du site et s'il est accessible. Le robots.txt contrôle ce qui peut être récupéré ; le sitemap dit ce qui existe — deux tâches différentes souvent confondues.
- L'erreur la plus courante est une référence à un sitemap qui n'existe plus ou qui se trouve sur un autre hôte. Le contrôleur signale les deux car une référence morte a le même effet que l'absence de référence.
- Le second est une exclusion qui bloque trop — par exemple un répertoire contenant des feuilles de style et des scripts. Les moteurs de recherche ne peuvent pas bien afficher la page et l'évaluent en conséquence.
- Le service de contrôle s'en tient aussi à ce fichier : pour les adresses que le token de contrôle bloque, il ne les appelle pas — et affiche explicitement l'exclusion dans le résultat au lieu de l'afficher comme contenu manquant.