Esta traducción aún no ha sido revisada editorialmente. La versión alemana es la vinculante. Deutsche Fassung
Indexación
¿Qué pertenece a un robots.txt y qué no?
Un robots.txt incluye algunas líneas: para quién aplican las reglas, qué áreas los rastreadores no deben recuperar y dónde se encuentra el mapa de sitio. El sitio web de una pequeña empresa viene con cuatro líneas. No están incluidos los bloqueos en los archivos de estilo y script, instrucciones como Noindex, que Google no lee allí, y caminos que deben permanecer secretos, porque el archivo puede abrir a cualquiera. Si el archivo se pierde por completo, Google asume que no hay restricciones.
Las líneas que Google lee
Google lee estos campos: User-agent dice para qué arrastrar las siguientes reglas aplican; La estrella representa a todos. El hueco llama un camino que el rastreador no debe recuperar. Permite tomar parte de ella otra vez. Mapa del sitio indica la dirección completa del mapa del sitio y se encuentra en cualquier lugar, independientemente de los grupos. Otros campos Google no lee, líneas inválidas se salta. Lo que no golpea una línea disallow puede ser recuperado. Los comentarios comienzan con un rhombus. El archivo debe llamarse robots.txt, almacenado como archivo de texto en UTF-8 y en el directorio principal.
Cómo un Crawler aplica las reglas
El archivo sólo se aplica al host, protocolo y puerto bajo el cual se encuentra: Los robots.txt de www.ihre-domain.at no regula nada para shop.ihre-domain.at. Si varias reglas se aplican a una dirección, la que tiene el camino más largo se aplica; si dos son la misma longitud, el permiso se aplica de acuerdo con el RFC 9309 estándar. Los caminos difieren en mayúscula y inferior y se aplican desde el comienzo de la dirección: Disallow: /search also meets /search-and-finde.html. Si un rastreador tiene su propio grupo, ya no lee el grupo general bajo la estrella en Google. Google lee a la mayoría 500 KiB del archivo y generalmente lo mantiene en almacenamiento de caché por hasta 24 horas.
Lo que es significativamente bloqueado
Google cita como el propósito del archivo principalmente para guardar el servidor de demasiadas recuperacións. Por lo tanto, los bloques son útiles para áreas que generan muchas direcciones sin su propio contenido para la búsqueda: las páginas de resultados de la búsqueda interna, el carrito de compras, el checkout. Para un sitio web con unas pocas docenas de páginas, a menudo no es necesario bloquear. Luego el archivo consiste en el grupo para todos los rastreadores y la línea sitemap.
Lo que no pertenece en él
Carpetas de bloqueo con archivos de estilo y script: Google necesita estos archivos para mostrar la página. Líneas como Noindex o Crawl-delay: Google no las lee, y un noindex pertenece en la página misma. Senderos a Áreas Confidenciales: RFC 9309 declara que las rutas enumeradas son públicas y por lo tanto son factibles y que las reglas no son control de acceso. Y bloquear páginas que deben desaparecer de la búsqueda: Google todavía puede registrar una dirección bloqueada si otros sitios web se unen a ella.
Ejemplos
robots.txt de un sitio web de la empresa
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10User-agent: *
Disallow: /suche/
Disallow: /warenkorb/
Sitemap: https://www.ihre-domain.at/sitemap.xmlLa primera versión bloquea la carpeta de archivo estilo y script, nombres públicos de una ruta confidencial, y contiene dos líneas que Google no lee. La segunda bloquea dos áreas sin su propio contenido para buscar y llama la hoja de sitio.
- Ir a su-dominio.at/robots.txt y pasar por la línea de archivos por línea: Para cada bloque, alguien debe ser capaz de decir lo que es para.
- Después de cada cambio, ha comprobado si página de inicio, archivos de estilo y scripts se pueden recuperar más lejos.




