This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung →
Indexierung
Katere pasti pri robotih.txt škodijo indeksiranju?
Roboti.txt pove iskalnikom katera področja ne smejo dobiti. Dve vrsti vnosov povzročita več škode kot preprečujejo. Najprej blokiranje slogovnih predlog, skriptov in imeniških map: Google izrisuje strani kot brskalnik, brez teh datotek pa vidi razpadel zaslon, napačno ocenjuje mobilno prijaznost in ne najde ponovno naložene vsebine. Drugič, direktive, ki jih noben plazilec ne razume – Noindex, no approw ali plazenje-zamuda pri robotih.txt –, ki so že leta neučinkovite in se pretvarjajo, da varnost ne obstaja. Testno območje indeksiranja bere robote.txt in poroča o obeh.
Kaj je past
Med pasti za izrisovanje spadajo ključavnice, katerih pot se konča na slogovnih datotekah ali skriptah, kot tudi ključavnice tipičnih map za sredstva: wp-vsebina in wp-vključuje na WordPress, sredstva, statika, css, js, slike, mediji, fileadmin in tipko3conf na drugih sistemih. Ključavnica v notranjem prostoru, iskalni ali nakupovalni voziček ni past in ni omenjena. Noindex, Nother in Crawl-zamuda veljajo za neučinkovite direktive: Google je prekinil neuradno podporo za Noindex v robotih.txt 2019; Če želite obdržati stran od indeksa, potrebujete meta tag ali glavo na sami strani. Rezultat kaže na prizadete črte. Ne spreminja vrednosti točke, ker niz pravil idx-v1 ostaja nespremenjen; pojavlja se v poročilu in na seznamu nalog.
Zakaj ovire so večinoma iz antičnih časov
Pred letom 2015 je veljal za dober slog zaklepanja vsega, razen vsebine za varčevanje s plazečim proračunom. Ker Google izrisuje strani v celoti, je nasprotno: vse, kar pripada predstavitvi, mora biti dosegljivo. Veliko robotov.txt datoteke še vedno nosijo stare vnose, ker so bili kopirani iz predlog in niso bili nikoli preverjeni. Korekcija je odstranitev vrstic; ki morajo res zaščititi posamezne imenike, to počnejo preko pravic dostopa, ne preko robotov.txt. Za noindex namere, izjava spada na stran: kot meta tag v glavi ali kot strežnik X-Robots tag header.
- Odstranite ključavnice na mapah in datotekah, ki pripadajo prikazu: CSS, JS, slike, mape sredstev.
- Zamenjava Vi noindex linije v robotih.txt preko meta tag roboti z noindex na ustreznih straneh.
- Uporabite orodje za preverjanje URL-ja za Google Search Console, da preverite, ali je prikaz končan.
- Naj roboti.txt kratek: sitemap reference, realne izključitve, nič drugega.
