This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Индексиране
Как да разпозная истинския Гугълбот?
На IP адреса, никога на името. Идентификационен код "Googlebot" в протокола за достъп е индикация за подателя и всяка програма може да го изпрати; самият Google пише, че често се фалшифицира от други пълзящи. Реален е достъпът, ако IP адресът му принадлежи на Google. За всеки случай Google споменава двойна заявка в системата за именуване на интернет (DNS), списъци на IP областите, публикувани за защита на защитната стена и бота.
Идентичността не доказва нищо
Всяко извличане на уебсайт показва в главата потребител-агент, който иска. Никой не проверява тази информация. Google призовава спамери и други размирници, които имат достъп до уебсайтове и се преструват, че са Google. Също така, проверка инструменти изпращат идентификатор, за да видите какво уеб сайт търсачка доставя. За защитната стена, това има последствия и в двете посоки. Който се довери на името, нека имитира. И който и да спре достъпа с това име като цяло, защото има очевидни много, може да срещне истинския пълзящ.
Индивидуален случай: напред-назад запитвания в DNS
За един IP адрес от протокола за достъп, Google описва този път. Обратното запитване пита към кое име принадлежи IP адресът. Името трябва да завърши на Googlebot.com, Google.com или Googleuser Content.com. Предната заявка пита кой IP адрес принадлежи към това име. Трябва да е същото като в протокола. Кръстосаната проверка е необходима, тъй като назад вписването се определя от собственика на IP адрес. Вашият домакин се занимава с двете запитвания с командата домакин; Примерът по-долу показва собствен примерен адрес на Гугъл.
Постоянното решение: IP списъците на Google
За защита на защитната стена и бота, Google публикува IP районите на своите пълзящи файлове като файлове, отделно по вид достъп. Общата crawlers.json файл посочва адресите на общите пълзящи като Googlebot; те винаги се придържат към robots.txt, когато автоматично се изтегля. Специалната crawlers.json файл се прилага за специални случаи като AdsBot. Други файлове се прилагат за заявки, направени от потребител; Google цитира като пример потвърждението на собствеността на уебсайт. Такива обаждания не зависят от роботите.txt. Адресите са във файловете като области в изписването на CIDR. Защита, която чете тези списъци, минава през реалния трафик и не трябва да се доверява на името.
Какво ще стане, ако защитата отхвърли истинския Googlebot
Ако защитата отговаря на реалния Googlebot с грешка от серията 4xx, около 403, Google третира това като страница, която не съществува: всички 4xx отговори с изключение на 429 се третират еднакво, и адресът е премахнат от индекса. При 429 и грешки от серията 5xx, Google забавя временно възстановяването. Посетителите не го забелязват, уебсайтът се зарежда както винаги. Тя става видима в Search Console: в доклада за индексиране на страницата и в инструмента за проверка на URL, чийто тест на живо показва какво получава Google в момента.
Същата проба за AI пълзящи
OpenAI публикува също IP адресите на своите пълзящи, списък за GPTBot, OAI SearchBot и ChatGPT потребители. Всеки, който иска да се появи в търсенето на ChatGPT, според OpenAI, трябва да позволи на OAI SearchBot в robots.txt и да позволи достъп от публикуваните IP области чрез. Така защитата на ботовете може да реши и тук по произход. Кое от тези пълзящи, които позволявате, е ваш въпрос; Тя отговаря на статията "Мога ли да блокирам албумите и от какво се отказвам?".
Примери
Два достъпа с идентификатора Googlebot
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1За първия адрес няма име в Google: идентификаторът е фалшив. Вторият е напред-назад.
- Позволете на хоста да изведе трафика от последната седмица с идентификатора Googlebot, с IP адрес и код на статуса.
- Имате някои от тези IP адреси проверени с дубликат DNS заявка.
- Попитайте доставчика на защитата на вашата защитна стена или бот защита, ако тя разпознава търсачките на търсачките в IP списъци на Google.
- В Search Console използвайте инструмента за проверка на URL и "Test Live URL," за да видите дали Google може да изтегли началната страница и подстраница.




