This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Индексиране
Защо роботите имат нужда един от друг?
Роботите.txt е първият файл, който търсачката чете на вашия сайт и трябва да има препратка към Картата на сайта, машинно четимата таблица на съдържанието на всички страници. В областта за проверка на данните се проверява цялата верига: Ако има роботи.txt, той се отнася до карта на сайта, този сайт карта е retrievable и сочи към правилния домейн.
Роботите.txt като домашни правила на вашия сайт
Роботите.txt е прост текстов файл, който се намира под фиксиран адрес: her-domain.at/robots.txt. Търсачите ги четат преди всяко посещение. В него се казва кои области на уеб сайт пълзящите имат право да посетят и в най-добрия случай, линия, която показва пътя към сайта. Проверката извлича файла и проверява дали едно от правилата за заключване случайно засяга контролната страница. Блок в този момент би означавало, че на търсачките не е позволено да посещават страницата год. безшумно изключване, което никой не забелязва в ежедневието.
Картата на сайта като таблица на съдържанието
Картата на сайта е машинно четим списък на всички страници на вашия сайт. Търсенето на машини ги използват, за да намерите бързо нови и променени страници, дори страници, които са слабо свързани вътрешно ще бъде трудно да се открие без тях. Проверката следва справката от robots.txt и проверява дали картата на сайта е действително ретриваема. Често срещана, мълчалива грешка се проверява конкретно: След рестартиране или промяна на домейн, линията на сайта понякога все още сочи към стария или погрешно напечатан домейн. След това препратката влиза в празнината, без никой да забележи, че находката показва точно това.
Вземане на проби в картата на сайта
В допълнение, проверката извлича проба от адресите, изброени в картата на сайта и ги извлича индивидуално. Разграничават се три резултата: адреси, които отговарят директно със статут 200... Адреси, които пристигат само чрез пренасочване - те работят, но губи усилие пълзене, защото картата на сайта трябва да назове крайния адрес. И адреси, които се озовават в грешка, те не принадлежат към картата на сайта на всички и се появяват в доклада за проверка и кода за състоянието. По този начин съдържанието остава надежден източник вместо събиране на мъртви препратки.
- Отидете на вашия-domain.at/robots.txt в браузъра... файлът трябва да се появи и да съдържа линия...
- Отворете адреса на сайта, посочен там, той трябва да зареди и да изброите текущите си страници.
- След всяко рестартиране или смяна на домейн, проверете дали линията на сайта все още сочи към правилния домейн.
- Имате карта на сайта поддържа автоматично, така че нови страници влизат и изтрити тези изчезват.
- Проверете дали няма правило за заключване в robots.txt случайно блокира важни страници.
