This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung →
Indexierung
Zakaj roboti.txt in Sitemap potrebujejo drug drugega?
Robots.txt je prva datoteka, ki jo iskalnik prebere na vaši spletni strani – in mora imeti sklic na Sitemap, strojno berljivo tabelo vsebine vseh strani. Kontrolno območje ‚Indexing‘ preverja celotno verigo: Če obstaja robots.txt, se nanaša na sitemap, ta sitemap je retrievable in kaže na pravilno domeno.
Roboti.txt kot hišna pravila vaše spletne strani
Roboti.txt je preprosta besedilna datoteka, ki leži pod fiksnim naslovom: her-domain.at/robots.txt. Pred vsakim obiskom jih preberi. Piše, katera področja spletnih strani lahko obiščete – in v najboljšem primeru, linija, ki kaže pot do sitemap. Preverjanje pridobi datoteko in preveri, ali eno od pravil zaklepanja pomotoma vpliva na samo preverjeno stran. Blok na tej točki bi pomenil, da iskalniki ne smejo obiskati strani – tihe izključitve, ki je nihče ne opazi v vsakdanjem življenju.
Kazalo kot kazalo vsebine
Kazalo je strojno berljiv seznam vseh strani na vaši spletni strani. Iskalni stroji jih uporabljajo za hitro iskanje novih in spremenjenih strani – celo strani, ki so slabo povezane notranje, bi bilo težko odkriti brez njih. Pregled sledi sklicu robotov.txt in preveri, ali je sitemap dejansko dosegljiv. Pogosta, tiha napaka se preveri posebej: Po ponovnem zagonu ali spremembi domene linija sitemap včasih še vedno kaže na staro ali napačno natipkano domeno. Sklic nato teče v praznino, ne da bi kdo opazil – ugotovitev kaže točno na to.
Vzorčenje v kazalo
Poleg tega pregled črpa vzorec iz naslovov, navedenih v kazalo, in jih pridobi posamično. Razlikujejo se trije rezultati: naslovi, ki se odzivajo neposredno s statusom 200 – ciljno stanje. Naslovi, ki prispejo le preko preusmeritve - delajo, vendar odpadki plazijo napor, saj naj bi sitemap imenoval končni naslov. In naslovi, ki se končajo v napaki – sploh ne spadajo v sitemap in se pojavijo v poročilu o preverjanju in kodo stanja. Kazalo torej ostaja zanesljiv vir namesto zbirke mrtvih referenc.
- Pojdi na vaš dom.at/robots.txt v brskalniku – datoteka naj se pojavi in vsebuje vrstico “Sitemap:”.
- Odprite tam omenjeni naslov sitemap – mora naložiti in navesti vaše trenutne strani.
- Po vsakem ponovnem zagonu ali spremembi domene preverite, ali linija sitemap še vedno kaže na pravilno domeno.
- Naj sitemap vzdržuje samodejno, tako da nove strani vnesite in izbrisane izginejo.
- Preverite, da v robotih.txt ni pravila zaklepanja, ki bi po nesreči blokirala pomembne strani.
