Deze vertaling is nog niet redactioneel gecontroleerd. De Duitse versie is leidend. Deutsche Fassung →
Indexierung
Waarom hebben robots.txt en sitemap elkaar nodig?
De robots.txt is het eerste bestand dat een zoekmachine op uw website leest — en daar hoort de verwijzing naar de sitemap, het machine-leebare inhoudsopgave van alle pagina's. Het controlegebied ‚Indexering' proeeft de hele keten: Bestaat er een robots.txt, wijst deze naar een sitemap, is deze sitemap bereikbaar, en wijst het naar het juiste domein?
De robots.txt als huisregels van uw website
De robots.txt is een eenvoudig tekstbestand dat op een vaste adres ligt: uw-domein.nl/robots.txt. Zoekmachines lezen het voor elk bezoek. Daarin staat welke delen van de website crawlers mogen bezoeken — en bij voorkeur een regel die de weg naar de sitemap wijst. De controle haalt het bestand op en controleert tegelijkertijd of één van de sperringsregels per ongeluk de geproefte pagina zelf raakt. Een sperrule op deze plaats zou betekenen dat zoekmachines de pagina helemaal niet mogen bezoeken — een stille uitsluitling die in het dagelijks leven niemand opmerkt.
De sitemap als inhoudsopgave
De sitemap is een machine-leesbare lijst van alle pagina's van uw website. Zoekmachines gebruiken het om nieuwe en gewijzigde pagina's snel te vinden — vooral pagina's die intern slecht verlinkt zijn, zouden zonder het moeilijk te ontdekken zijn. De controle volgt de verwijzing uit de robots.txt en controleert of de sitemap werkelijk bereikbaar is. Een veel voorkomend, stille fout wordt daarbij speciaal geproefd: Na een relaunch of domeinwissel wijst de sitemap-regel soms nog naar het oude of een fout getikt domein. De verwijzing loopt dan leeg, zonder dat iemand het opmerkt — de bevinding wijst daar precies op.
Steekproef in de sitemap
Daarnaast trekt de controle een steekproef uit de in de sitemap genoteerde adressen en roept deze individueel op. Drie resultaten worden onderscheiden: Adressen die direct met status 200 antwoorden — de sollicitaat. Adressen die eerst via een omleiding ankomen — ze werken, verspillen maar crawl-effort, want de sitemap moet het eindig adres noemen. En adressen die in een fout eindigen — ze horen helemaal niet in de sitemap en verschijnen in het controleerapport met statuscode. Zo blijft de inhoudsopgave een betrouwbare bron in plaats van een verzameling dode verwijzingen.
- Roep uw-domein.nl/robots.txt in de browser op — het bestand dient te verschijnen en een regel ‚Sitemap:' te bevatten.
- Open het daar genoemde sitemap-adres — het mag zich laden en uw actuele pagina's moet opsommen.
- Controleer na elke relaunch of domeinswitch of de sitemap-regel nog naar het juiste domein wijst.
- Laat de sitemap automatisch onderhouden zodat nieuwe pagina's eruit voorkomen en verwijderde verdwijnen.
- Controleer dat geen blokkeringsregel in robots.txt per ongeluk belangrijke pagina's blokkeert.