This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung →
roboti.txt in Sitemap: dve datoteki, ki nadzorujejo dostop
Pregledovalnik preveri, ali roboti.txt poimenujejo kazalo in ali ga je mogoče doseči. Roboti.txt kontrolirajo, kar se da dobiti; Kazalo pravi, kaj sploh obstaja – dve različni nalogi, ki sta pogosto zmedeni.
- Najpogostejša napaka je sklicevanje na sitemap, ki ne obstaja več ali da je na drugem gostitelju. Izpraševalec poroča o obeh, ker ima mrtva referenca enak učinek kot nobena.
- Druga najpogostejša je izključitev, ki preveč blokira – na primer imenik slogovnih predlog in skript. Iskalni motorji potem ne morejo pravilno prikazati strani in jo ustrezno ovrednotiti.
- Sama storitev preverjanja se drži te datoteke: ne pridobiva naslovov, ki jih blokira za žeton izdelka – in izrecno navaja izključitev v rezultatu, namesto da bi jo predstavili kot manjkajočo vsebino.
