Deze vertaling is nog niet redactioneel gecontroleerd. De Duitse versie is leidend. Deutsche Fassung
Indexering
Wat hoort er in een robot.txt en wat niet?
Een robot.txt bevat een paar lijnen: voor wie gelden de regels, welke gebieden kruipers niet moeten ophalen en waar de sitemap zich bevindt. Een website van een klein bedrijf wordt geleverd met vier lijnen. Niet inbegrepen zijn sloten op stijl- en scriptbestanden, instructies zoals Noindex, die Google daar niet leest, en paden die geheim moeten blijven, omdat het bestand iedereen kan openen. Als het bestand volledig ontbreekt, gaat Google ervan uit dat er geen beperkingen zijn.
De regels die Google leest
Google leest deze velden: Gebruiker-agent zegt voor welke rups de volgende regels gelden; De ster staat voor iedereen. Disallow noemt een pad dat de crawler niet terug moet halen. Laat me er weer een deel van nemen. Sitemap geeft het volledige adres van de sitemap aan en staat overal, ongeacht de groepen. Andere velden Google niet lezen, ongeldige regels het overslaat. Wat niet geraakt een niet-toegestaan lijn kan worden opgehaald. Reacties beginnen met een ruit. Het bestand moet robots.txt genoemd worden, opgeslagen als tekstbestand in UTF-8 en in de hoofdmap.
Hoe een Crawler het Reglement toepast
Het bestand is alleen van toepassing op de host, protocol en poort waaronder het zich bevindt: De robots.txt van www.ihre-domein.at regelt niets voor shop.ihre-domein.at. Indien meerdere regels van toepassing zijn op een adres, geldt dat met het langste pad; indien twee dezelfde lengte hebben, geldt de toestemming volgens de standaard RFC 9309. Paden verschillen in het bovenste en kleine geval en gelden vanaf het begin van het adres: Disallow: /search meets also /search-and-finde.html. Als een crawler een eigen groep heeft, leest hij niet langer de algemene groep onder de ster op Google. Google leest maximaal 500 KiB van het bestand en houdt het meestal in cache-opslag voor maximaal 24 uur.
Wat betekenisvol geblokkeerd is
Google citeert als het doel van het bestand voornamelijk om de server te redden van te veel ophalen. Daarom zijn blokken nuttig voor gebieden die veel adressen genereren zonder hun eigen inhoud voor de zoekopdracht: de resultaten pagina's van de interne zoekopdracht, de winkelwagen, de kassa. Voor een website met een paar dozijn pagina's is vaak geen blok nodig. Dan bestaat het bestand uit de groep voor alle kruipers en de sitemap regel.
Wat er niet in hoort
Mappen vergrendelen met stijl- en scriptbestanden: Google heeft deze bestanden nodig om de pagina weer te geven. Regels zoals Noindex of Crawl-delay: Google leest ze niet, en een noindex hoort op de pagina zelf. Paden naar Vertrouwelijke Gebieden: RFC 9309 stelt dat de vermelde paden openbaar en dus vindbaar zijn en dat de regels geen toegangscontrole zijn. En blokkeren pagina's die moeten verdwijnen van zoekopdracht: Google kan nog steeds een geblokkeerd adres opnemen als andere websites link naar het.
Voorbeelden
robots.txt van een bedrijfswebsite
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10User-agent: *
Disallow: /suche/
Disallow: /warenkorb/
Sitemap: https://www.ihre-domain.at/sitemap.xmlDe eerste versie vergrendelt de map stijl en script, noemt publiekelijk een vertrouwelijk pad en bevat twee regels die Google niet leest. De tweede blokken twee gebieden zonder hun eigen inhoud voor zoeken en roept de sitemap.
- Ga naar haar-domein.at/robots.txt en ga door het bestand regel voor regel: Voor elk blok moet iemand kunnen zeggen waar het voor is.
- Na elke wijziging, laat het controleren of homepage, stijl bestanden en scripts verder kunnen worden opgehaald.




