Deze vertaling is nog niet redactioneel gecontroleerd. De Duitse versie is leidend. Deutsche Fassung →
robots.txt en sitemap: de twee bestanden die de toegang besturen
De toetser ziet na of de robots.txt een sitemap benoemt en of deze bereikbaar is. De robots.txt bestuurt wat mag worden opgehaald; de sitemap zegt wat er überhaupt is — twee verschillende taken, die vaak verward worden.
- De meest frequente fout is een verwijzing naar een sitemap die niet meer bestaat of die op een ander gastheer ligt. De toetser meldt beide, omdat een dode verwijzing hetzelfde effect heeft als geen verwijzing.
- De tweede meest frequente is een uitsluiting die te veel blokkeert — bijvoorbeeld een map met stijlbladen en scripts. Zoekmachines kunnen de pagina dan niet correct weergeven en waarderen haar dienovereenkomstig.
- De toetsdienst houdt zich zelf aan dit bestand: adressen die het voor zijn product-token blokkeert, haalt het niet op — en wijst de uitsluiting in het resultaat uitdrukkelijk aan, in plaats van het als ontbrekende inhoud voor te stellen.