This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung →
robots.txt és Sitemap: a két fájl, amelyek a hozzáférést ellenőrzik
A ellenőrző ellenőrzi, hogy a robot.txt megnevez-e egy sitemapot, és el lehet-e érni. A robot.txt ellenőrzi, hogy mit lehet visszaszerezni; A sitemap azt mondja, hogy mi van egyáltalán - két különböző feladatok, amelyek gyakran zavaros.
- A leggyakoribb hiba egy olyan sitemap, amely már nem létezik, vagy amely egy másik gazdatest. A vizsgáztató mindkét esetet jelenti, mert a halott referenciának ugyanolyan hatása van, mint a semminek.
- A második leggyakoribb a kizárás, amely blokkolja túl sok - mint például egy könyvtár stílus sablonok és szkriptek. A keresőmotorok ezután nem tudják megfelelően megjeleníteni az oldalt, és ennek megfelelően értékelni azt.
- Az ellenőrző szolgálat maga is csatlakozik ehhez a fájlhoz: nem vonja vissza azokat a címeket, amelyeket blokkol a termékmutató miatt - és kifejezetten kimondja az eredmény kizárását, ahelyett, hogy hiányzó tartalomként mutatná be.
