Přejít na obsah
EUID Kontrolní služba & pečeť, Úvodní stránka
Nechat zkontrolovat web

This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung

Indexace

Co patří do robots.txt a co ne?

Robots.txt obsahuje několik řádků: pro které platí pravidla, které oblasti by plazi neměli získat a kde se nachází sitemap. Webové stránky malé společnosti mají čtyři linky. Nezahrnuty jsou zámky na styl a skriptové soubory, pokyny, jako je Noindex, který Google nečte tam, a cesty, které by měly zůstat tajné, protože soubor může otevřít každého. Pokud soubor zcela chybí, Google předpokládá, že neexistují žádná omezení.

The lines Google čte

Google čte tato pole: User- agent říká, pro které crawler platí následující pravidla; Hvězda je pro všechny. Nepovolený volá cestu, kterou by plazivec neměl získat. Dovolit vzít část z něj znovu. Sitemap označuje úplnou adresu sitemapu a stojí kdekoliv, bez ohledu na skupiny. Ostatní pole Google nečte, neplatné řádky přeskočí. Co nenarazí na nedovolenou linku, může být získáno zpět. Komentáře začínají kosočtvercem. Soubor musí být nazýván robots.txt, uložen jako textový soubor v UTF-8 a v hlavním adresáři.

Jak Crawler uplatňuje pravidla

Soubor se vztahuje pouze na hostitele, protokol a port, pod kterým se nachází: Robots.txt www.ihre-domain.at nereguluje nic pro shop.ihre-domain.at. Pokud se na adresu použije několik pravidel, použije se ta s nejdelší cestou; pokud jsou dvě stejné délky, platí povolení podle normy RFC 9309. Cesty se liší v horním a dolním případě a platí od začátku adresy: Zakázat: / vyhledávání také splňuje / search-and-finde.html. Pokud má plazivec svou vlastní skupinu, již nečte obecnou skupinu pod hvězdou na Google. Google čte maximálně 500 KiB souboru a obvykle jej uchovává v úložišti cache po dobu až 24 hodin.

Co je smysluplně zablokováno

Google cituje jako účel souboru hlavně pro uložení serveru z příliš mnoha retrievalů. Proto, bloky jsou užitečné pro oblasti, které generují mnoho adres bez jejich vlastní obsah pro vyhledávání: výsledky stránky vnitřního vyhledávání, nákupní košík, Pokladna. Pro webové stránky s několika tucty stránek, často žádný blok není nutné. Pak soubor se skládá ze skupiny pro všechny plazy a sitemap řádek.

Co do ní nepatří

Zamknout složky se soubory stylu a skriptu: Google tyto soubory potřebuje k zobrazení stránky. Řádky jako Noindex nebo Crawl- delay: Google je nečte a noindex patří na stránku samotnou. Cesty do důvěrných oblastí: RFC 9309 uvádí, že cesty uvedené na seznamu jsou veřejné, a proto je lze najít, a že pravidla nejsou kontrolou přístupu. A blokovat stránky, které by měly zmizet z vyhledávání: Google může stále nahrávat zablokovanou adresu, pokud se na ni vztahují jiné webové stránky.

Příklady

robots.txt firemních webových stránek

Nesplněno
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10
Plněné
User-agent: *
Disallow: /suche/
Disallow: /warenkorb/

Sitemap: https://www.ihre-domain.at/sitemap.xml

První verze uzamkne složku stylu a skriptu, veřejně pojmenuje důvěrnou cestu a obsahuje dva řádky, které Google nečte. Druhý blokuje dvě oblasti bez jejich vlastní obsah pro vyhledávání a volá sitemap.

  • Přejděte na her-domain.at / robots.txt a projděte řádek souboru po řádku: Pro každý blok, by někdo měl být schopen říct, k čemu to je.
  • Po každé změně zkontrolujte, zda lze domovskou stránku, stylové soubory a skripty dále získat.

Více k tomuto tématu

Deutsche Fassung dieser Seite

  • Pečeť Digitale Barrierefreiheit
  • Pečeť Daten & Recht
  • Pečeť Technische Qualität
  • Pečeť Digital Excellence
  • Pečeť Cyberversicherung

Zkontrolováno. Pro lepší digitální budoucnost.euid.com

Co patří do robots.txt a co ne? · euid.com