This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Indexelés
Mi illik egy robothoz, és mi nem?
A robots.txt tartalmaz néhány sort: akire a szabályok vonatkoznak, mely területeken a mászók nem kaphatnak vissza, és ahol a sitemap található. Egy kis cég honlapja négy sorból áll. Nem tartalmazza a zárak a stílus és a script fájlokat, utasításokat, mint a Noindex, amely a Google nem olvassa el ott, és az utak, hogy maradjon titokban, mert a fájl lehet nyitni bárki. Ha a fájl teljesen hiányzik, a Google feltételezi, hogy nincsenek korlátozások.
A sorok, amiket a Google olvas
A Google ezeket a mezőket olvassa: Az User- agent azt mondja, hogy a következő szabályokat kell alkalmazni: A csillag mindenkié. Az elutasítás olyan utat hív, amit a mászónak nem kellene visszaszereznie. Engedjék meg, hogy újra kivegyék. A sitemap jelzi a sitemap teljes címét, és bárhol áll, a csoporttól függetlenül. Más mezők A Google nem olvas, érvénytelen sorokat kihagy. Ami nem éri el a tiltott vonalat, azt vissza lehet szerezni. A hozzászólások egy rombusszal kezdődnek. A fájlt Robots.txt-nek kell hívni, az UTF- 8-ban és a főkönyvtárban szöveges fájlként tárolva.
How a Crawler Applies the Rules
A fájl csak a gazdatestre, a protokollra és a portra vonatkozik, amely alatt található: A www.ihre- domain.at robots.txt nem szabályoz semmit a shop.ihredomain.at. számára. Ha egy címre több szabály vonatkozik, a leghosszabb útvonalat kell alkalmazni; ha kettő azonos hosszúságú, az engedélyt az RFC 9309 szabvány szerint kell alkalmazni. A padok a felső és az alsó esetben különböznek, és a cím kezdetétől alkalmazandók: Megengedett: / search is meets / search-and-finde.html. Ha egy mászónak saját csoportja van, akkor már nem olvassa az általános csoportot a Google-n. A Google legfeljebb 500 KiB-t olvas a fájlból, és általában akár 24 órán át tárolja.
Mi jelentős blokkolása
A Google a fájl céljaként hivatkozik arra, hogy a szervert a túl sok retrieváltól mentse. Ezért, blokkok hasznos olyan területeken, amelyek generál sok címet nélkül saját tartalom a keresés: az eredmények oldalai a belső keresés, a bevásárlókocsi, a pénztárgép. Egy weboldal néhány tucat oldalt, gyakran nincs blokk szükséges. Aztán a fájl áll a csoport minden mászók és a sitemap vonal.
Mi nem tartozik bele
Zárd be a stílus- és szkriptfájlokat tartalmazó mappákat: a Google-nak szüksége van ezekre a fájlokra az oldal megjelenítéséhez. Az olyan vonalak, mint a Noindex vagy a Crawl- késleltetés: a Google nem olvassa el őket, és egy noindex az oldalon található. Paths to Secret Area: RFC 9309 kijelenti, hogy a felsorolt útvonalak nyilvánosak és így elérhetők, és hogy a szabályok nem a hozzáférés ellenőrzése. Blokkolja azokat az oldalakat, amelyeknek el kell tűnniük a keresésből: a Google még mindig rögzíthet egy blokkolt címet, ha más weboldalak is kapcsolódnak hozzá.
Példák
robots.txt egy cég honlapján
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10User-agent: *
Disallow: /suche/
Disallow: /warenkorb/
Sitemap: https://www.ihre-domain.at/sitemap.xmlAz első verzió bezárja a stílus és script fájl mappát, nyilvánosan megnevez egy bizalmas utat, és tartalmaz két sort, amit a Google nem olvas. A második blokkol két területet saját tartalom nélkül a keresés és hívja a sitemap.
- Ugrás a her- domain.at / robots.txt könyvtárba és a fájlsoron keresztül: Minden háztömb esetében valakinek meg kell tudnia mondani, mire való.
- Minden változtatás után ellenőrizze, hogy a honlap, a stílusfájlok és a szkriptek visszakereshetők-e.




