This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Indeksiranje
Kaj spada v robote.txt in kaj ne?
Robots.txt vključuje nekaj vrstic: za koga veljajo pravila, katera območja plazilci ne smejo pridobiti in kje se nahaja sitemap. Spletna stran majhnega podjetja ima štiri linije. Ni vključen so ključavnice na slogovne in skriptne datoteke, navodila, kot so Noindex, ki ga Google tam ne bere, in poti, ki bi morale ostati tajne, saj lahko datoteka odpre vsakogar. Če datoteke v celoti ni, Google domneva, da ni omejitev.
Vrstice, ki jih bere Google
Google bere ta polja: Uporabnik-agent pravi, za katerega plazilca veljajo naslednja pravila; Zvezda je za vse. Neodločnost kliče pot, ki je plazilec ne bi smel dobiti. Dovolite, da spet del tega. Kazalo kaže celoten naslov sitemap in stoji kjerkoli, ne glede na skupine. Druga polja Google ne bere, neveljavne vrstice preskoči. Česar ne zadene, se lahko dobi. Pripombe se začnejo z rombusom. Datoteka se mora imenovati robots.txt, shranjena kot besedilna datoteka v UTF-8 in v glavnem imeniku.
Kako Crawler uporablja pravila
Datoteka velja samo za gostitelja, protokol in vrata, pod katerimi se nahaja: Roboti.txt www.ihre-domain.at ne ureja ničesar za shop.ihre-domain.at. Če za naslov velja več pravil, velja tista z najdaljšo stezo; če sta dve enako dolgi, velja dovoljenje po standardu RFC 9309. Poti se razlikujejo v zgornjem in spodnjem primeru in veljajo od začetka naslova: Disloy: /iskanje tudi sreča /search-and-finde.html. Če ima plazec svojo skupino, ne bere več splošne skupine pod zvezdo na Googlu. Google bere največ 500 KiB datoteke in jo običajno hrani v predpomnilniku do 24 ur.
Kaj je smiselno blokirano
Google navaja kot namen datoteke predvsem za shranjevanje strežnika pred preveč priklici. Zato so bloki uporabni za področja, ki ustvarjajo veliko naslovov brez lastne vsebine za iskanje: rezultati strani notranjega iskanja, nakupovalna košarica, odjava. Za spletno stran z nekaj deset strani, pogosto ni potreben blok. Nato je datoteka sestavljena iz skupine za vse plazilce in sitemap linijo.
Kaj ne spada vanj
Zaklenite mape s stilskimi in skriptnimi datotekami: Google potrebuje te datoteke za prikaz strani. Vrstice, kot sta Noindex ali Crawl-dele: Google jih ne bere, noindex pa spada na samo stran. Poti do zaupnih območij: RFC 9309 navaja, da so navedene poti javne in jih je zato mogoče najti ter da pravila niso nadzor dostopa. In blokirajte strani, ki bi morale izginiti iz iskanja: Google lahko še vedno posname blokiran naslov, če se nanj povežejo druga spletna mesta.
Primeri
roboti.txt spletne strani podjetja
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10User-agent: *
Disallow: /suche/
Disallow: /warenkorb/
Sitemap: https://www.ihre-domain.at/sitemap.xmlPrva različica zaklene mapo s slogom in skriptno datoteko, javno poimenuje zaupno pot in vsebuje dve vrstici, ki ju Google ne bere. Drugi blokira dve področji brez lastne vsebine za iskanje in kliče sitemap.
- Pojdi v njeno domeno.at/robots.txt in pojdi skozi vrstico datoteke po vrstici: Za vsako ulico bi moral biti nekdo sposoben povedati, za kaj je.
- Po vsaki spremembi naj preveri, ali je mogoče dodatno pridobiti domačo stran, slogovne datoteke in skripte.




