This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Индексиране
Кои капани в robots.txt вреди индексиране?
Роботите.txt разказват за търсачките, които не трябва да намират. Два вида записи причиняват повече щети, отколкото предотвратяват. Първо, блокиране за стилове, скриптове и папки с активи: Google прави страници като браузър, а без тези файлове, вижда разглобен дисплей, погрешно оценява мобилното приятелство и не успява да намери презаредено съдържание. Второ, директивите, които никой не разбира, не могат да се правят на сигурни, които не съществуват. Тестовата зона за индексиране отчита роботи.txt и докладва и двете.
Какво е капан
Капаните за пренасяне включват ключалки, чийто път завършва на стилни файлове или скриптове, както и ключалки на типичните папки с активи: wp-content и wp-включени в WordPress, активи, статични, css, js, изображения, медии, fileadmin и typo3conf на други системи. Заключване във вътрешната област, търсене или пазарска количка не е капан и не се споменава. Noindex, Nofollow и Craw-delay се считат за неефективни директиви: Google прекрати неофициалната подкрепа за Noindex в robots.txt 2019; Ако искате да запазите страница от индекса, имате нужда от мета таг или заглавна част на самата страница. Резултатът показва засегнатите линии. Тя не променя стойността на точката, защото набор от правила idx-v1 остава непроменена; тя се появява в доклада и в списъка със задачи.
Защо бариерите са предимно от древни времена
Преди 2015 г. се смяташе за добър стил да се заключва всичко, освен съдържанието, за да се спести бюджет пълзене. Тъй като Google прави страниците напълно, обратното е вярно: всичко, което принадлежи към презентацията, трябва да се ретрие. Много роботи.txt файлове все още носят старите записи, защото те са били копирани от шаблони и никога не са били проверени. Корекцията е премахването на редовете, които наистина трябва да защитят отделните директории чрез права за достъп, а не чрез robots.txt. За Noindex намерения, изявлението принадлежи към страницата: като мета таг в заглавната част или като сървъри X-Robots таг заглавието.
- Премахване на ключалките на папки и файлове, които принадлежат към дисплея: CSS, JS, изображения, папки с активи.
- Замяна Вие няма индекс линии в robots.txt чрез мета таг роботи, без индекс на съответните страници.
- Използвайте инструмента за проверка на URL адреса на Google Търсене, за да проверите дали преведеният изглед е завършен.
- Дръжте роботите.txt кратко: sitemap справка, реални изключения, нищо друго.
