This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Indexace
Které pasti v robotách?
Robots.txt říká vyhledávačům, které oblasti by neměli získat. Dva typy vstupů způsobují větší škody, než tomu brání. Za prvé, blokování stylesheet, skriptů a složek aktiv: Google zobrazuje stránky jako prohlížeč, a bez těchto souborů vidí disintegrovaný displej, nesprávně vyhodnocuje přívětivost mobilního telefonu a nenahrává znovu načtený obsah. Za druhé, směrnice, které Google nečte: Noindex, Nofollow nebo Crawl- zpoždění v robots.txt; Google má podporu pro to na první. Září 2019 skončilo a linie předstírají bezpečnost, která neexistuje. Ve zkušební oblasti indexování se čte robots.txt a hlásí obojí.
Standardní sady Povolit a zakázat, více řádků každý crawler čte podle svého vlastního pravidla
RFC 9309, internetový standard pro robots.txt od září 2022, definuje linky User- agent, Povolit a zakázat: pro které plazit pravidlo platí, co je dovoleno získat a co ne. Crawler umí číst další řádky, nemusí. Proto stejný řádek nefunguje pro jednu službu a pro druhou. Google seznamy jako podporované pole User- agent, Povolit, Zakázat a Sitemap a píše, že ostatní pole, jako je Crawl- zpoždění nejsou podporovány; Neplatné řádky jsou předány. Odklad je určen ke zpomalení volání plazivce. Bing popsal v roce 2012, že jeho crawler věnuje pozornost této linii, a radí proti vysokým hodnotám, protože pak získá méně stránek. Řádek noindexu se neobjevuje ve standardu ani v seznamu Google.
Blokovaná stránka může být ve výsledku vyhledávání, pouze bez popisu
Zámek v robot.txt zakazuje vyhledávání, ne zobrazení. Google píše: Blokovaná stránka může stále zadat index, pokud se na něj vztahují jiné webové stránky; ve výsledku vyhledávání je adresa, ale žádný popis. The Search Console uvádí případy jako "Indexováno, i když blokováno robots.txt souboru". To vytváří past dvou částí: Ten, kdo zamkne jednu stranu a zároveň mu dá noindex, dosáhne opaku zamýšleného. Google čte noindex pouze v případě, že je stránka získána, a vyhledávání blokuje. Pro uzamčené skriptové soubory, podle Google: nepovede je a to, co znovu načte, nedosáhne Google.
Bez zámků může Google načíst stejné soubory jako prohlížeč vašich návštěvníků
Google je na 27. října 2014 ve svých technických pokynech: Ti, kteří zakazují vyhledávání skriptů a souborů stylu okamžitě zhoršují, jak dobře Google zobrazuje a zaznamenává obsah, a to může vést k horšímu pořadí. Dnešní úvod do robots.txt říká, že takto: Soubory, bez nichž crawler rozumí stránku těžší by neměly být blokovány. Pokud jsou řádky odstraněny, Google může při dalším vyhledávání načíst stejné soubory jako prohlížeč. Výsledek lze zobrazit: URL kontrola vyhledávání konzole zobrazí po "Test live URL" pod "Zobrazit testovanou stránku" obrázek obrazovky stránky, jak ji Google zobrazí.
Každá nepovolená linka je veřejně čitelná
Robots.txt může otevřít kdokoliv v prohlížeči. RFC 9309 uvádí ve svých bezpečnostních pokynech: Kdo zobrazuje cesty v roboty. TXT je zveřejňuje, a tudíž je lze najít, a soubor nenahrazuje účinná ochranná opatření. Řádek jako Zakázat: / vnitřní / nebo Zakázat: / Zálohování / je přesně ta složka, kterou by nikdo neměl najít. Crawlerovi, kteří dodržují pravidla, je nevolají; Každý může zadat adresu. Google nabízí dva způsoby vyhledávání stránek: noindex na stránce nebo heslo. Co je důvěrné, patří za registraci.
Zákaz deky se vztahuje i na vyhledávače služeb AI
Plazi AI poskytovatelů číst stejný soubor, a to přidává dvě pasti. První: A Zakázat: / under User- agent: *, o zbytek od zkušebního provozu, platí také pro vyhledávače služeb AI. OpenAI píše, že webové stránky, které vylučují OAI SearchBot není uveden v ChatGPT vyhledávání odpovědi; Antropic píše, že jeho crawlers věnovat pozornost robots.txt Druhý: Plazivec následuje pouze skupinu, která nejpřesněji odpovídá svému jménu; Takto to Google popisuje pro své plazy a Bing pro Bingbot. Každý, kdo vytváří svou vlastní skupinu pro AI crawler by proto měl opakovat všechna pravidla, která by se na něj měla vztahovat, protože obecná skupina pod hvězdou je pak pro něj odstraněna. Google Extended má vliv pouze na modely AI společnosti Google a podle společnosti Google nemění zařazení do vyhledávání.
Co je past
Rendering pasti patří zámky, jejichž cesta končí na stylu souborů nebo skriptů, stejně jako zámky typických složek aktiv: wp- obsah a wp- zahrnuje na WordPress, aktiva, statický, css, js, obrázky, média, fileadmin a typo3conf na jiných systémech. Zámek ve vnitřní oblasti, vyhledávání nebo nákupní vozík není past a není uvedeno. Řádky, které Google nečte, jsou Noindex, Nofollow a Crawl- zpoždění. Crawl- zpoždění si všimne Bing, kde linka brzdí volání. Společnost Google ukončila neoficiální podporu pro Noindex v robots.txt 2019; Pokud chcete mít stránku z indexu, potřebujete meta značku nebo hlavičku na stránce samotné. Výsledek ukazuje postižené čáry. Nemění bodovou hodnotu, protože soubor pravidel idx-v1 zůstává nezměněn; objevuje se ve zprávě a v seznamu úkolů.
Proč jsou bariéry většinou z dávných časů
Před rokem 2015 bylo považováno za dobrý styl uzamknout vše kromě obsahu, který má zachránit rozpočet plazení. Vzhledem k tomu, že Google podává stránky úplně, je pravdou opak: vše, co patří k prezentaci, musí být možné získat zpět. Mnoho robots.txt soubory stále obsahují staré položky, protože byly zkopírovány ze šablon a nebyly nikdy ověřeny. Oprava je odstranění řádků; kdo skutečně potřebuje chránit jednotlivé adresáře tak činí prostřednictvím přístupových práv, ne prostřednictvím robots.txt. Pro noindexové záměry, prohlášení patří na stránku: jako meta tag v hlavičce nebo jako server je X-Robots tag hlavička.
- Odstranit zámky na složkách a soubory, které patří do displeje: CSS, JS, obrázky, složky aktiv.
- Náhrada Ty noindex linky v robots.txt přes meta tag roboty s noindex na příslušných stránkách.
- Pomocí nástroje pro ověřování URL rozhraní Google Search Console zkontrolujte, zda je zobrazený pohled kompletní.
- Udržujte robots.txt krátký: Sitemap reference, skutečné vyloučení, nic jiného.
- Kapitál a nižší počet případů v cestě: Zakázat: / Vnitřní / neblokuje / vnitřní /. Zkontrolujte každý zámek proti pravopisu v adresáři.
- Zámek bez lomítka na konci dosáhne dále, než se zdá: Zakázat: / obrázek také zámky / image / a / formation.html. S lomítkem, tj. Zakázat: / obrázek /, ona jen stiskne složku.
- Pokud váš robots.txt má své vlastní skupiny pro jednotlivé crawlers, přečtěte si každou skupinu, jako by ostatní neexistovali. Pokud blok, který je pod hvězdou chybí ve skupině, to se nevztahuje na tento crawler.
- S modulární systémy, jako je Wix, robots.txt často nelze zpracovávat přímo, podle Google. Pak vyhledejte nastavení systému pro viditelnost vyhledávačů.
- Neberte robots.txt ze šablony nebo z jiné webové stránky. V každé řadě by vaše agentura měla být schopna říct, na co tam je.




