This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Индексиране
Какво има в роботите и кое не?
Robots.txt включва няколко линии: за които важат правилата, кои области пълзящи не трябва да се изтеглят и къде се намира картата на сайта. Сайтът на малка компания идва с четири линии. Не са включени ключалки на стил и скрипт файлове, инструкции като Noindex, които Google не чете там, и пътища, които трябва да останат тайна, защото файлът може да отвори всеки. Ако файлът липсва изцяло, Google приема, че няма ограничения.
Линиите Google четат
Google чете тези полета: Потребител-агент казва за кой пълзящ се прилагат следните правила; Звездата е за всички. Недостигът нарича път, който пълзящият не трябва да връща. Позволи ми да го направя отново. Карта на сайта показва пълния адрес на картата на сайта и стои навсякъде, независимо от групите. Други полета Google не чете, невалидни линии пропуска. Това, което не удари линия за отказ може да бъде върнато. Коментарите започват с ромб. Файлът трябва да се нарича robots.txt, съхраняван като текстов файл в UTF-8 и в главната директория.
Как пълзящият прилага правилата
Файлът се отнася само за хоста, протокола и порта, под които се намира: The robots.txt of www.ihre-domain.at не регулира нищо за магазин.ihre-domain.at. Ако се прилагат няколко правила за адрес, се прилага този с най-дългата пътека; ако две са с еднаква дължина, разрешението се прилага съгласно стандарта RFC 9309. Пътищата се различават в горната и долната част на калъфа и се прилагат от началото на адреса: Освобождаване: /търсене също отговаря /търсене-и-finde.html. Ако пълзящият има своя собствена група, той вече не чете общата група под звездата в Google. Google чете най-много 500 KiB от файла и обикновено го съхранява в кеш памет за до 24 часа.
Какво е смислено блокирано
Google цитира като цел на файла главно да спаси сървъра от твърде много извличане. Ето защо блоковете са полезни за области, които генерират много адреси без собствено съдържание за търсене: страниците с резултати от вътрешното търсене, количката за пазаруване, касата. За уебсайт с няколко десетки страници, често не е необходимо блок. След това файлът се състои от групата за всички пълзящи и сайт карта линия.
Какво не принадлежи в него
Заключване на папки със стил и скрипт файлове: Google се нуждае от тези файлове, за да покаже страницата. Линии като Noindex или Craw-delay: Google не ги чете и Noindex принадлежи към самата страница. Пътищата към поверителните зони: RFC 9309 посочва, че изброените пътища са публични и така могат да се намерят и че правилата не са контрол на достъпа. И блокирайте страници, които трябва да изчезнат от търсене: Google все още може да запише блокиран адрес, ако други сайтове линк към него.
Примери
robots.txt на фирмен сайт
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10User-agent: *
Disallow: /suche/
Disallow: /warenkorb/
Sitemap: https://www.ihre-domain.at/sitemap.xmlПървата версия заключва стила и папката със скриптове, публично посочва поверителен път и съдържа два реда, които Google не чете. Втората блокира две области без собствено съдържание за търсене и призовава картата на сайта.
- Отидете в нейния домейн.at/robots.txt и преминете през файла ред по ред: За всеки блок, някой трябва да може да каже за какво е.
- След всяка промяна проверете дали началната страница, стила на файловете и скриптовете могат да бъдат извлечени допълнително.




