This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung →
Indexierung
Miért van szüksége Robots.txt és Sitemap egymásra?
A Robots.txt az első fájl, amit a keresőmotor elolvas a honlapodon - és ennek hivatkoznia kell a Sitemapra, az összes oldal gépi olvasású tartalomtáblájára. Az "Indexing" ellenőrzési terület az egész láncot ellenőrzi: Ha van Robots.txt, ez utal egy sitemap, ez a sitemap visszaszerezhető, és rámutat a helyes domain.
A robots.txt, mint ház szabályai a honlapon
A Robots.txt egy egyszerű szöveges fájl, amely egy rögzített cím alatt található: her- domain.at / robots.txt. A keresőmotorok minden látogatás előtt elolvassák őket. Azt írja, hogy a webhely mely területeit látogathatják meg a mászók - és a legjobb esetben egy sort, amely megmutatja az utat a helyszínhez. Az ellenőrzés visszaállítja a fájlt, és azt is ellenőrzi, hogy az egyik zárolási szabály véletlenül kihat-e magára az ellenőrzött oldalra. Egy blokk ezen a ponton azt jelentené, hogy a keresőmotorok nem látogathatják meg az oldalt - egy csendes kizárás, amit senki sem vesz észre a mindennapi életben.
A sitemap mint tartalomjegyzék
A Sitemap egy machine- olvasható lista az összes oldalon a honlapon. Kereső motorok segítségével őket, hogy gyorsan új és megváltozott oldalak - még az oldalak, amelyek gyengén kapcsolódik belül nehéz lenne felismerni nélkülük. Az ellenőrzés a Robots.txt hivatkozását követi, és ellenőrzi, hogy a sitemap valóban visszaszerezhető-e. Egy gyakori, néma hiba ellenőrzése kifejezetten: Egy újraindítás vagy domain változás után a sitemap vonal néha még mindig a régi vagy egy rosszul gépelt tartományra mutat. Az utalás az ürességbe fut, anélkül, hogy bárki észrevenné - a lelet pontosan erre utal.
Mintavétel a helyszínen
Ezen túlmenően az ellenőrzés mintát vesz a sitemapban felsorolt címekről, és azokat egyenként leszállítja. Három eredményt különböztetünk meg: a 200-as státusszal közvetlenül reagáló címeket - a célállamot. Olyan címek, amelyek csak átirányítással érkeznek - működnek, de a hulladékmászásra irányuló erőfeszítések, mert a sitemapnek meg kell neveznie a végső címet. És a címek, amelyek egy hibához vezetnek, egyáltalán nem tartoznak a helyszínhez, és szerepelnek az ellenőrzési jelentésben és a státuszkódban. Így a tartalomjegyzék megbízható forrás marad a halott referenciák gyűjteménye helyett.
- Ugrás a -domain.at / robots.txt gombra a böngészőben - a fájlnak meg kell jelennie és tartalmaznia kell a "Sitemap:" sort.
- Nyissa meg az ott említett sitemap címet - meg kell töltenie és listáznia kell az aktuális oldalait.
- Minden újraindítás vagy domain módosítás után ellenőrizze, hogy a sitemap vonal még mindig a megfelelő tartományra mutat-e.
- A sitemap automatikus fenntartása, hogy az új oldalak belépnek, és törölt is eltűnik.
- Ellenőrizze, hogy nincs zár szabály a robotok. Txt véletlenül blokkolja fontos oldalak.
