Prejsť na obsah
EUID Kontrolná služba & pečať, Úvodná stránka
Nechať skontrolovať web

This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung

Indexácia

Ktoré pasce v robotoch.txt poškodenie indexovanie?

Roboti.txt hovorí vyhľadávače, ktoré oblasti by nemali získať. Dva druhy vstupov spôsobujú väčšie škody, než im bránia. Po prvé, blokovanie pre štýly, skripty a priečinky aktív: Spoločnosť Google vykresľuje stránky ako prehliadač a bez týchto súborov vidí dezintegrovaný displej, nesprávne vyhodnocuje mobilnú prívetivosť a nedokáže nájsť znovu načítaný obsah. Po druhé, smernice, ktoré Google nečíta: Noindex, Nofollow alebo crowl-delay v robotoch.txt; Google má na to podporu 1. September 2019 skončil, a linky predstierajú bezpečnosť, ktorá neexistuje. Indexovanie skúšobnej oblasti číta roboty.txt a hlási oboje.

Štandard stanovuje Povoliť a Zakázať, viac čiar každý jazdec číta podľa vlastného pravidla

RFC 9309, internetový štandard pre roboty.txt od septembra 2022, definuje linky Užívateľ-agent, Povoliť a znemožniť: pre ktoré craiser platí pravidlo, čo je dovolené získať a čo nie. Lezec vie čítať viac riadkov, nemusí. Preto rovnaký riadok nefunguje pre jednu službu a pre druhú. Zoznamy Google ako podporované polia Užívateľ-agent, Povoliť, Vypnúť a Sitemap a píše, že iné polia, ako je crawl-dely nie sú podporované; Neplatné linky sú postúpené. Crawl-delay je určený na spomalenie hovorov jazdca. Bing popísaný v roku 2012, že jeho craiser venuje pozornosť tejto línii, a radí proti vysokým hodnotám, pretože potom získa menej stránok. Riadok noindex sa neobjavuje v norme alebo v zozname Google.

Zablokovaná stránka môže byť vo výsledku vyhľadávania, len bez popisu

Zámok v robotoch.txt zakazuje vyhľadávanie, nie zobrazenie. Google píše: Zablokovaná stránka môže stále zadať index, ak iné webové stránky odkaz na neho; vo výsledku vyhľadávania je adresa, ale žiadny popis. The Search Console lists such cases as "Indexed, but locked by robots.txt file." To vytvára pascu dvoch častí: Ten, kto zamkne jednu stranu a zároveň mu dáva noindex, dosahuje opak zamýšľaného. Google číta noindex len vtedy, keď je stránka načítaná, a vyhľadávanie zakazuje blok. Pre zamknuté skriptové súbory, podľa Google: nerealizuje ich a to, čo znovu načítajú, nedostáva Google.

Bez zámkov môže Google načítať rovnaké súbory ako prehliadač vašich návštevníkov

Google je na 27. október 2014 vo svojich technických usmerneniach: Tí, ktorí zakážu vyhľadávanie skriptu a štýlových súborov, okamžite zhoršia, ako dobre Google zobrazuje a zaznamenáva obsah, a to môže viesť k horšiemu rebríčku. Dnes sa predstaví roboty.txt uvádza to takto: Súbory, bez ktorých craiser chápe stránku ťažšie by nemala byť blokovaná. Ak sú riadky odstránené, Google môže načítať rovnaké súbory ako prehliadač v ďalšom vyhľadávaní. Výsledok je možné zobraziť: Kontrola URL vyhľadávacej konzoly sa zobrazí po "Otestujte živé URL" pod "Zobraziť testovanú stránku" na obrazovke stránky ako ju zobrazí Google.

Každá hranica zákazu je verejne čitateľná

Roboti.txt môžu byť otvorené ktokoľvek v prehliadači. RFC 9309 uvádza vo svojich bezpečnostných pokynoch: Ktokoľvek uvádza chodníky v robotoch. txt ich zverejňuje a preto ich možno nájsť a súbor nenahrádza účinné ochranné opatrenia. Takže riadok ako zákaz: /internal/ alebo zákaz: /backup/ je presne priečinok, ktorý by nikto nemal nájsť. Kotvári, ktorí dodržiavajú pravidlá, ich nevolajú; Hocikto iný môže napísať adresu. Google dáva dva spôsoby pre stránky, ktoré sa nemajú vyhľadávať: noindex na stránke alebo heslo. Za registráciu patrí to, čo je dôverné.

Zákaz deky platí aj pre vyhľadávačov služieb UI

Plazivá poskytovateľov AI čítali rovnaký súbor, a to pridáva dve pasce. Prvý: Neprítomnosť: / podľa Užívateľ-agent: *, asi zvyšok z testovacej operácie, platí aj pre vyhľadávače služieb AI. OpenAI píše, že webová stránka, ktorá vylučuje OAI SearchBot nie je zobrazená v odpovediach na vyhľadávanie v ChatGPT Antropické píše, že jeho lezci venujú pozornosť robotom.txt. Druhé: lezec sleduje len skupinu, ktorá sa najpresnejšie zhoduje s jeho menom; Takto to Google opisuje pre svojich prívržencov a Bing pre Bingbota. Každý, kto si vytvorí svoju vlastnú skupinu pre pátrača, by mal preto zopakovať všetky pravidlá, ktoré by sa na neho mali vzťahovať, pretože všeobecná skupina pod hviezdou je potom pre neho eliminovaná. Google-Extended ovplyvňuje iba modely AI Google a podľa Google nemení zaradenie do vyhľadávania.

Čo je pasca

Kreslenie pasce patrí zámky, ktorých cesta končí na štýl súbory alebo skripty, rovnako ako zámky typických zložiek aktív: wp-obsah a wp-zahŕňa na WordPress, aktíva, statické, css, js, obrázky, médiá, fileadmin a typo3conf na iných systémoch. Zámok vo vnútornej oblasti, vyhľadávanie alebo nákupný košík nie je pasca a nie je uvedené. Linky, ktoré Google nečíta, sú Noindex, Nofollow a Crawl-dely. Crawl-delay si všimne Bing, kde linka brzdí hovory. Google ukončil neoficiálnu podporu Noindexu v robotoch.txt 2019; Ak chcete udržať stránku z indexu, potrebujete meta tag alebo hlavičku na samotnej stránke. Výsledok označuje zasiahnuté čiary. To nemení bodovú hodnotu, pretože súbor pravidiel idx-v1 zostáva nezmenený; je uvedený v správe a v zozname úloh.

Prečo sú bariéry väčšinou zo staroveku

Pred rokom 2015 bol považovaný za dobrý štýl zamknúť všetko okrem obsahu ušetriť plaziť rozpočet. Vzhľadom k tomu, Google vykresľuje stránky úplne, opak je pravdou: všetko, čo patrí do prezentácie, musí byť možné získať späť. Mnohé roboty.txt súbory stále obsahujú staré položky, pretože boli skopírované zo šablón a neboli nikdy overené. Oprava je odstránenie riadkov; kto naozaj potrebuje chrániť jednotlivé adresáre tak robí prostredníctvom prístupových práv, nie prostredníctvom robotov.txt. Pre zámery noindex, vyhlásenie patrí na stránku: ako meta tag v hlavičke alebo ako server as X-Robots tag hlavička.

  • Odstrániť zámky na priečinky a súbory, ktoré patria k displeju: CSS, JS, obrázky, priečinky aktív.
  • Nahradenie Tie nie je index linky v robots.txt cez meta tag roboty s noindex na príslušných stránkach.
  • Pomocou nástroja Google Search Console URL na overenie URL skontrolujte, či je zobrazené zobrazenie úplné.
  • Udržujte robots.txt krátky: sitemap referencie, skutočné vylúčenia, nič iné.
  • Kapitál a menší prípad sa počíta v ceste: Nehodiace sa prečiarknite: /Vnútorná/ neblokuje /vnútorná/. Zaškrtnite každý zámok oproti pravopisu v adresári.
  • Zámok bez lomítka na konci dosiahne viac, než sa zdá: Neprítomnosť: /obraz aj zámky /obrazy/ a /formácie.html. S lomítkom, t. j. Neprítomnosť: /obrázok/, ona len hity priečinok.
  • Ak vaše roboty.txt má svoje vlastné skupiny pre jednotlivé preliezačky, prečítajte si každú skupinu, ako keby ostatní neexistovali. Ak v skupine chýba blok, ktorý je pod hviezdou, nevzťahuje sa na tento plaz.
  • S modulárnymi systémami ako Wix, roboty.txt často nemožno spracovať priamo, podľa Google. Potom prehľadajte nastavenia systému pre viditeľnosť vyhľadávačov.
  • Neberte robots.txt zo šablóny alebo z inej webovej stránky. Pre každý riadok, vaša agentúra by mala byť schopná povedať, čo tam je.

Viac o tejto téme

Deutsche Fassung dieser Seite

  • Pečať Digitale Barrierefreiheit
  • Pečať Daten & Recht
  • Pečať Technische Qualität
  • Pečať Digital Excellence
  • Pečať Cyberversicherung

Skontrolované. Pre lepšiu digitálnu budúcnosť.euid.com