Na vsebino
EUID Storitev preverjanja & pečat, Domača stran
Naročite preverjanje spletnega mesta

This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung

Indeksiranje

Katere pasti pri robotih.txt škodijo indeksiranju?

Roboti.txt pove iskalnikom katera področja ne smejo dobiti. Dve vrsti vnosov povzročita več škode kot preprečujejo. Najprej blokiranje slogovnih predlog, skriptov in imeniških map: Google izrisuje strani kot brskalnik, brez teh datotek pa vidi razpadel zaslon, napačno ocenjuje mobilno prijaznost in ne najde ponovno naložene vsebine. Drugič, direktive, ki jih Google ne bere: Noindex, NoSled ali plaz-zamuda v robotih.txt; Google ima podporo za to na 1. September 2019 se je končal, linije pa se pretvarjajo v varnost, ki ne obstaja. Testno območje indeksiranja bere robote.txt in poroča o obeh.

Standardni nabori Dovoli in opusti, več vrstic vsak plazec bere po svojem pravilu

RFC 9309, internetni standard za robote.txt od septembra 2022, opredeljuje linije uporabnik-agent, Dovoli in Neupoštevanje: za katere plazilec velja pravilo, kaj je dovoljeno dobiti in kaj ne. Plazilec lahko bere več vrstic, ni mu treba. Zato ista linija ne deluje za eno in za drugo storitev. Google navaja kot podprta polja Uporabniško-agentna, Dovoli, Disloy in Kazalo strani in piše, da druga polja, kot so zavlačevanje plazenja, niso podprta; Neveljavne vrstice so podane. Krawl-zamuda je namenjena upočasnitvi klicev plazečega. Bing je leta 2012 opisal, da je njegov plazilec pozoren na to črto, in svetuje proti visokim vrednostim, saj nato pridobi manj strani. Črta noindexa se ne pojavlja v standardu ali na Googlovem seznamu.

Blokirana stran je lahko v iskalnem rezultatu, samo brez opisa

Ključavnica v robotih.txt prepoveduje priklic, ne prikaz. Google piše: Blokirana stran lahko še vedno vnese indeks, če se nanj povežejo druga spletna mesta; v rezultatu iskanja je naslov, vendar brez opisa. The Search Console navaja primere, kot so "Indexed, čeprav jih blokira robots.txt datoteko". To ustvarja past dveh delov: Kdor zaklene eno stran in ji hkrati da noindex, doseže nasprotno od predvidenega. Google bere noindex samo, ko je stran pridobljena, in priklic prepoveduje blok. Za zaklenjene skriptne datoteke, po Google: jih ne izvaja, in kar ponovno naloži ne doseže Google.

Brez ključavnic lahko Google naloži iste datoteke kot brskalnik obiskovalcev

Google je na 27. oktober 2014 v tehničnih smernicah: Tisti, ki prepovejo priklic skriptnih in stilskih datotek, takoj poslabšajo, kako dobro Google prikazuje in beleži vsebino, kar lahko privede do slabših uvrstitev. Današnji uvod v robote.txt pravi takole: Datoteke, brez katerih plazilec razume stran težje, ne bi smel biti blokiran. Če so črte odstranjene, lahko Google naloži iste datoteke kot brskalnik na naslednjem priklicu. Rezultat si lahko ogledate: Preverjanje lokacije iskalne konzole prikazuje za "Test live URL" pod "Pokaži preizkušeno stran" zaslonsko fotografijo strani, ko jo Google prikazuje.

Vsaka črta je javno berljiva

Robote.txt lahko odpre kdorkoli v brskalniku. RFC 9309 navaja v svojih varnostnih navodilih: Kdor navaja poti v robotih. txt jih naredi javne in jih je zato mogoče najti, datoteka pa ne nadomešča učinkovitih zaščitnih ukrepov. Torej vrstica, kot je Disloy: /notranja/ ali Disloy: /backup/ je točno mapa, ki je nihče ne bi smel najti. Plazilci, ki se držijo pravil, jih ne imenujejo; Vsak drug lahko vtipka naslov. Google ponuja dva načina za strani, ki jih ni treba iskati: noindex na strani ali geslo. Kar je zaupno, je za registracijo.

Splošna prepoved velja tudi za iskalce storitev AI

Plazilci ponudnikov AI so prebrali isto datoteko in to doda dve pasti. Prvi: A Dislay: / pod uporabniško-agent: *, približno preostanek od testne operacije, velja tudi za iskalnike storitev AI. OpenAI piše, da spletna stran, ki izključuje OAI SearchBot, ni prikazana v iskalnih odzivih ChatGPT; Antropično piše, da njegovi plazovi posvečajo pozornost robotom.txt. Drugi: plazec sledi le skupini, ki se najbolj natančno ujema z njegovim imenom; Tako ga Google opisuje za svoje plazilce in Bing za Bingbot. Vsakdo, ki ustvari lastno skupino za AI plazilec, naj zato ponovi vsa pravila, ki bi morala veljati zanj, saj se splošna skupina pod zvezdo nato zanj izloči. Google Extended vpliva le na Googlove modele AI in po mnenju Googla ne spremeni vključitve v iskanje.

Kaj je past

Med pasti za izrisovanje spadajo ključavnice, katerih pot se konča na slogovnih datotekah ali skriptah, kot tudi ključavnice tipičnih map za sredstva: wp-vsebina in wp-vključuje na WordPress, sredstva, statika, css, js, slike, mediji, fileadmin in tipko3conf na drugih sistemih. Ključavnica v notranjem prostoru, iskalni ali nakupovalni voziček ni past in ni omenjena. Vrstice, ki jih Google ne bere, so Noindex, NoSled in Crawl-Zakasnitev. Krawl-dellay opazi Bing, kjer linija zavira klice. Google je prekinil neuradno podporo za Noindex v robotih.txt 2019; Če želite obdržati stran od indeksa, potrebujete meta tag ali glavo na sami strani. Rezultat kaže na prizadete črte. Ne spreminja vrednosti točke, ker niz pravil idx-v1 ostaja nespremenjen; pojavlja se v poročilu in na seznamu nalog.

Zakaj ovire so večinoma iz antičnih časov

Pred letom 2015 je veljal za dober slog zaklepanja vsega, razen vsebine za varčevanje s plazečim proračunom. Ker Google izrisuje strani v celoti, je nasprotno: vse, kar pripada predstavitvi, mora biti dosegljivo. Mnogi roboti.txt datoteke še vedno vsebujejo stare vnose, ker so bili kopirani iz predlog in niso bili nikoli preverjeni. Korekcija je odstranitev vrstic; ki morajo res zaščititi posamezne imenike, to počnejo preko pravic dostopa, ne preko robotov.txt. Za noindex namere, izjava spada na stran: kot meta tag v glavi ali kot strežnik X-Robots tag header.

  • Odstranite ključavnice na mapah in datotekah, ki pripadajo prikazu: CSS, JS, slike, mape sredstev.
  • Zamenjava Vi noindex linije v robotih.txt preko meta tag roboti z noindex na ustreznih straneh.
  • Uporabite orodje za preverjanje URL-ja za Google Search Console, da preverite, ali je prikaz končan.
  • Naj roboti.txt kratek: sitemap reference, realne izključitve, nič drugega.
  • Kapital in manjši primeri štejejo na poti: Disloy: /Notranji/ ne blokira /notranji/. Preveri vsako ključavnico na črkovanju v naslovni vrstici.
  • Ključavnica brez poševnice na koncu doseže dlje, kot izgleda: Disloy: /image tudi ključavnice /image/ and /formation.html. S poševnico, t. j. Dislay: /slika/, zadene samo mapo.
  • Če imajo vaši roboti.txt svoje skupine za posamezne plazilce, preberite vsako skupino, kot da drugih ni bilo. Če v skupini manjka blok, ki je pod zvezdo, ne velja za ta plaz.
  • Z modularnimi sistemi, kot je Wix, robotov.txt pogosto ni mogoče obdelati neposredno, kot pravi Google. Nato preiščite nastavitve sistema za vidnost za iskalnike.
  • Ne jemljite robotov.txt iz predloge ali iz druge spletne strani. Za vsako vrstico bi morala biti vaša agencija sposobna povedati, zakaj je tam.

Več o tej temi

Deutsche Fassung dieser Seite

  • Pečat Digitale Barrierefreiheit
  • Pečat Daten & Recht
  • Pečat Technische Qualität
  • Pečat Digital Excellence
  • Pečat Cyberversicherung

Preverjeno. Za boljšo digitalno prihodnost.euid.com