This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung →
Indexierung
K čemu robots.txt a sitemapa navzájem potřebují?
Soubor robots.txt je první soubor, který vyhledávač na vašem webu čte — a má v něm být odkaz na sitemapu, strojově čitelný obsah všech stránek. Kontrolní oblast „Indexace“ prověřuje celý řetězec: existuje robots.txt, odkazuje na sitemapu, je tato sitemapa dostupná a ukazuje na správnou doménu.
robots.txt jako domovní řád vašeho webu
robots.txt je jednoduchý textový soubor, který leží na pevné adrese: vase-domena.at/robots.txt. Vyhledávače ho čtou před každou návštěvou. Stojí v něm, jaké oblasti webu smí prohledávače navštívit — a v nejlepším případě řádek, který ukazuje cestu k sitemap. Kontrola soubor vyvolá a mimochodem zkontroluje, zda se některé z blokovacích pravidel nedopatřením netýká samotné kontrolované stránky. Blokace na tomto místě by znamenala, že vyhledávače stránku vůbec nesmí navštívit — tichý vylučovací mechanismus, kterého si v běžném provozu nikdo nevšimne.
Sitemap jako obsah
Sitemap je strojově čitelný seznam všech stránek vašeho webu. Vyhledávače ji používají, aby rychle našly nové a změněné stránky — právě stránky se slabým interním odkazováním by bez ní bylo těžké objevit. Kontrola sleduje odkaz z robots.txt a kontroluje, zda je sitemap skutečně dosažitelná. Přitom se samostatně kontroluje jedna častá tichá chyba: po relaunchi nebo změně domény řádek se sitemap mnohdy ještě ukazuje na starou nebo špatně napsanou doménu. Odkaz pak vede do prázdna, aniž by si toho někdo všiml — nález na to přesně upozorňuje.
Namátková kontrola sitemapy
Kontrola navíc namátkou vybere adresy uvedené v sitemapě a jednotlivě je načte. Rozlišují se tři výsledky: adresy, které odpovídají přímo se stavem 200 — to je žádoucí stav. Adresy, které se načtou až přes přesměrování — fungují, ale zbytečně spotřebovávají prostor pro procházení, protože sitemapa má uvádět konečnou adresu. A adresy, které skončí chybou — do sitemapy vůbec nepatří a v protokolu kontroly se objeví i s kódem stavu. Tak zůstává obsah sitemapy spolehlivým zdrojem, a ne sbírkou mrtvých odkazů.
- Otevřete v prohlížeči vase-domena.cz/robots.txt — soubor se má zobrazit a obsahovat řádek „Sitemap:“.
- Otevřete tam uvedenou adresu sitemapy — musí se načíst a uvádět vaše aktuální stránky.
- Po každém relaunchi nebo změně domény zkontrolujte, zda řádek sitemapy stále ukazuje na správnou doménu.
- Nechte sitemapu udržovat automaticky, aby se do ní nové stránky doplňovaly a smazané mizely.
- Zkontrolujte, že žádné pravidlo blokování v robots.txt omylem neblokuje důležité stránky.
FAQ
Co je robots.txt?
robots.txt je textový soubor v hlavním adresáři webu, který vyhledávačům sděluje, které oblasti smí navštívit. Vždy se nachází na stejné adrese: doména následovaná /robots.txt. Navíc má řádkem Sitemap odkazovat na obsah webu.
Co je sitemapa?
Sitemapa je strojově čitelný soubor, který uvádí všechny stránky webu. Vyhledávače ho používají k rychlému nalezení nového a změněného obsahu. Má obsahovat výhradně adresy, které odpovídají přímo a bezchybně — přesměrování a chybové stránky do ní nepatří.
Musí být sitemapa uvedená v robots.txt?
Je to nejspolehlivější cesta, protože robots.txt hledá každý vyhledávač na stejném místě. Záznam je jediný řádek s úplnou adresou sitemapy. Naše kontrola přiděluje body za toto pravidlo jen tehdy, když záznam existuje a uvedená sitemapa skutečně odpovídá.
Proč můj řádek Sitemap ukazuje na špatnou doménu?
Nejčastěji jde o pozůstatek: při přesunu z testovacího prostředí nebo ze staré domény se robots.txt zkopíroval beze změny a řádek Sitemap stále uvádí dřívější adresu. Kontrola tento případ rozpoznává zvlášť a v nálezu upozorní, když se doména sitemapy liší od kontrolované domény.