This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Indexace
K čemu robots.txt a sitemapa navzájem potřebují?
Soubor robots.txt je první soubor, který vyhledávač na vašem webu čte — a má v něm být odkaz na sitemapu, strojově čitelný obsah všech stránek. Kontrolní oblast „Indexace“ prověřuje celý řetězec: existuje robots.txt, odkazuje na sitemapu, je tato sitemapa dostupná a ukazuje na správnou doménu.
robots.txt jako domovní řád vašeho webu
robots.txt je jednoduchý textový soubor, který leží na pevné adrese: vase-domena.at/robots.txt. Vyhledávače ho čtou před každou návštěvou. Stojí v něm, jaké oblasti webu smí prohledávače navštívit — a v nejlepším případě řádek, který ukazuje cestu k sitemap. Kontrola soubor vyvolá a mimochodem zkontroluje, zda se některé z blokovacích pravidel nedopatřením netýká samotné kontrolované stránky. Blokace na tomto místě by znamenala, že vyhledávače stránku vůbec nesmí navštívit — tichý vylučovací mechanismus, kterého si v běžném provozu nikdo nevšimne.
Sitemap jako obsah
Sitemap je strojově čitelný seznam všech stránek vašeho webu. Vyhledávače ji používají, aby rychle našly nové a změněné stránky — právě stránky se slabým interním odkazováním by bez ní bylo těžké objevit. Kontrola sleduje odkaz z robots.txt a kontroluje, zda je sitemap skutečně dosažitelná. Přitom se samostatně kontroluje jedna častá tichá chyba: po relaunchi nebo změně domény řádek se sitemap mnohdy ještě ukazuje na starou nebo špatně napsanou doménu. Odkaz pak vede do prázdna, aniž by si toho někdo všiml — nález na to přesně upozorňuje.
Namátková kontrola sitemapy
Kontrola navíc namátkou vybere adresy uvedené v sitemapě a jednotlivě je načte. Rozlišují se tři výsledky: adresy, které odpovídají přímo se stavem 200 — to je žádoucí stav. Adresy, které se načtou až přes přesměrování — fungují, ale zbytečně spotřebovávají prostor pro procházení, protože sitemapa má uvádět konečnou adresu. A adresy, které skončí chybou — do sitemapy vůbec nepatří a v protokolu kontroly se objeví i s kódem stavu. Tak zůstává obsah sitemapy spolehlivým zdrojem, a ne sbírkou mrtvých odkazů.
- Otevřete v prohlížeči vase-domena.cz/robots.txt — soubor se má zobrazit a obsahovat řádek „Sitemap:“.
- Otevřete tam uvedenou adresu sitemapy — musí se načíst a uvádět vaše aktuální stránky.
- Po každém relaunchi nebo změně domény zkontrolujte, zda řádek sitemapy stále ukazuje na správnou doménu.
- Nechte sitemapu udržovat automaticky, aby se do ní nové stránky doplňovaly a smazané mizely.
- Zkontrolujte, že žádné pravidlo blokování v robots.txt omylem neblokuje důležité stránky.
