This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung →
Indexierung
Zašto se robots.txt i sitemap trebaju međusobno?
Robots.txt je prva datoteka koju tražilica čita na vašoj web-mjestu — i tam trebat biti referenca na sitemap, strojno čitljivog sadržaj svih stranica. Područje provjere „Indeksiranje” provjerava čitav lanac: postoji li robots.txt, pokazuje li na sitemap, je li taj sitemap dostupan, i pokazuje li na pravu domenu.
Robots.txt kao kućni red vaše web-mjesta
Robots.txt je jednostavna tekstualna datoteka koja se nalazi na fiksnoj adresi: vasa-domena.at/robots.txt. Tražilice je čitaju prije svakog posjeta. U njoj piše koji dijelovi web-mjesta mogu posjetiti crawleri — i u najboljem slučaju redak koji pokazuje na sitemap. Provjera datoteku preuzima i uzgredno provjerava je li neka od zaštitnih pravila slučajno pogođena samu mjerenu stranicu. Zaštita na tom mjestu bi značila da tražilice stranicu ne smiju niti posjetiti — šutna isključenost koju nitko u radu ne primjećuje.
Sitemap kao sadržaj
Sitemap je čitljiva za stroje datoteka koja popisuje sve stranice vaše web-mjesta. Tražilice je koriste kako bi brzo pronašle nove i promijenjene stranice — pogotovo stranice koje su slabo interno povezane, bez nje bi bilo teško otkriti. Provjera prati referencu iz robots.txt i provjerava može li se sitemap doista preuzeti. Česti, šutni previd posebno se provjerava: nakon relauncha ili promjene domene redak za sitemap ponekad još pokazuje na staru ili pogriješenu domenu. Referenca ide zatim u prazninu bez da to neko primijeti — nalaz upravo na to upućuje.
Uzorak u sitemap
Osim toga provjera uzima uzorak iz adresa navedenih u sitemap-u i svaku zove pojedinačno. Tri rezultata se razlikuju: adrese koje direktno odgovaraju s statusom 200 — to je cilj. Adrese koje prvo dolaze putem preusmjeravanja — funkcioniraju, ali rasipaju crawl-snagu jer sitemap trebao navesti konačnu adresu. I adrese koja padaju u grešku — ne trebale bi biti u sitemap-u i pojavljuju se u izvješću s statusnim kodom. Tako se sadržaj ostaje pouzdana zbirka umjesto skupa mrtvih referenci.
- Posjetite vašu-domenu.hr/robots.txt u pregledniku — datoteka bi se trebala prikazati i sadržavati redak "Sitemap:".
- Otvorite navedenu adresu sitemap-a — trebala bi se učitati i navesti vaše trenutne stranice.
- Provjerite nakon svakog pokretanja ili promjene domene je li redak sitemap-a još uvijek pokazuje na ispravnu domenu.
- Automatski održavajte sitemap kako bi se nove stranice dodale i izbrisane uklonile.
- Provjerite da nema pravila blokiranja u robots.txt koja slučajno blokiraju važne stranice.