This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung →
robots.txt a sitemapa: dva soubory, které řídí přístup
Kontrolor zjišťuje, zda robots.txt uvádí sitemapu a zda je dostupná. robots.txt řídí, co smí být načteno; sitemapa říká, co vůbec existuje — dva různé úkoly, které se často zaměňují.
- Nejčastější chybou je odkaz na sitemapu, která už neexistuje nebo leží na jiném hostiteli. Kontrolor hlásí obojí, protože mrtvý odkaz má stejný účinek jako žádný.
- Druhou nejčastější je vyloučení, které blokuje příliš — třeba adresář se styly a skripty. Vyhledávače pak nemohou stránku správně vykreslit a podle toho ji hodnotí.
- Kontrolní služba se tímto souborem sama řídí: adresy, které blokuje pro její produktový token, nenačítá — a vyloučení ve výsledku výslovně uvádí, místo aby ho vydávala za chybějící obsah.
FAQ
Musí sitemapa stát v robots.txt?
Předepsané to není, ale je to nejspolehlivější způsob, jak ji zpřístupnit — nezávisle na tom, zda byla navíc uložená v nějakém nástroji.
Co se stane, když robots.txt chybí?
Pak platí, že je povoleno vše. To není chyba; jen chybí odkaz na sitemapu a cílené vyloučení není možné.
Blokuje robots.txt stránku z indexu?
Ne — jen zakazuje načtení. Zablokovaná stránka může přesto skončit v indexu, pak bez obsahu. K vyloučení z indexu slouží noindex, ten ale vyhledávač přečte, jen když smí stránku načíst.