This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Indexelés
Milyen csapdákat a robotokban?
A Robots.txt megmondja a keresőmotoroknak, hogy melyik területet ne szerezzék vissza. Két fajta bejegyzés több kárt okoz, mint amennyit megelőznek. Először, blokkolja a stilesheets, szkriptek, és eszközmappák: A Google olyan oldalakat rendel, mint egy böngésző, és ezek nélkül a fájlok nélkül egy széttagolt kijelzőt lát, helytelenül értékeli a mobilbarátságot, és nem találja az újratöltött tartalmat. Másodszor, olyan irányelvek, amelyeket senki sem ért - Noindex, nobot vagy crawl- késleltetés a robott.txt -, amelyek évek óta hatástalanok, és úgy tesznek, mintha nem létezne a biztonság. Az indexáló vizsgálati terület Robots.txt és mindkettőt jelenti.
Mi az a csapda
A renderelő csapdák közé tartoznak azok a zárak, amelyek útja a stílusfájlokra vagy szkriptekre végződik, valamint a tipikus eszközmappák: wp- tartalom és wp- magában foglalja a WordPress, eszközök, statikus, css, js, képek, média, fileadmin és typo3conf más rendszereken. Egy zár a belső területen, kereső vagy bevásárló kocsi nem csapda, és nem említik. A Noindex, a Nosfolk és a Crawl-késés hatástalan irányelveknek minősülnek: A Google abbahagyta a Noindex nem hivatalos támogatását robott.txt 2019; Ha meg akarsz tartani egy oldalt az indextől, szükséged van egy meta tagre vagy egy fejlécre az oldalon. Az eredmény az érintett vonalakat jelzi. Nem változtatja meg a pontértéket, mert az idx- v1 szabálykészlet változatlan marad; megjelenik a jelentésben és a feladatlistán.
Miért az akadályok többnyire az ősi időkben
2015 előtt jó stílusnak tartották, hogy mindent bezárjanak, kivéve a tartalmakat, hogy spóroljanak. Mivel a Google teljesen lemossa az oldalakat, az ellenkezője igaz: minden, ami a prezentációhoz tartozik, visszakereshetőnek kell lennie. Sok Robots.txt fájl még mindig a régi bejegyzéseket hordozza, mert azokat lemásolták sablonokról, és soha nem ellenőrizték. A korrekció a sorok eltávolítása; akinek valóban meg kell védenie az egyes könyvtárakat, hogy a hozzáférési jogok, nem a robott.txt. A noindex szándékok, a nyilatkozat tartozik az oldalon: mint egy meta tag a fejléc vagy a szerver X- Robotok tag fejléc.
- A kijelzőhöz tartozó mappák és fájlok zárjainak eltávolítása: CSS, JS, képek, eszközmappák.
- Helyettesítés Ön noindex vonalak a robots.txt keresztül egy meta tag robotok noindex a vonatkozó oldalakon.
- A Google Search Console URL ellenőrző eszköz segítségével ellenőrizheti, hogy a kihagyott nézet teljes-e.
- A robotok rövidítése: sitemap hivatkozás, valódi kizárások, semmi más.




