Esta traducción aún no ha sido revisada editorialmente. La versión alemana es la vinculante. Deutsche Fassung
Indexación
¿Qué trampas en la indexación de daño robots.txt?
El robots.txt dice motores de búsqueda que áreas no deben recuperar. Dos tipos de entradas causan más daño de lo que evitan. Primero, bloqueo para hojas de estilo, scripts y carpetas de activos: Google hace páginas como un navegador, y sin esos archivos, ve una pantalla desintegrada, evalúa erróneamente la amistad móvil, y no encuentra contenido recargado. En segundo lugar, las directivas que Google no lee: Noindex, Nofollow o gate-delay en los robots.txt; Google tiene soporte para esto en la primera. Septiembre 2019 terminó, y las líneas fingen una seguridad que no existe. El área de prueba de indexación lee robots.txt e informa ambos.
Los conjuntos estándar permiten y desactivan, más líneas cada rastreador lee de acuerdo a su propia regla
RFC 9309, el estándar de Internet para robots.txt a partir de septiembre de 2022, define las líneas User-agent, Allow and Disallow: para las cuales se aplica una regla, lo que se permite recuperar y lo que no. Un rastreador puede leer más líneas, no tiene que hacerlo. Por lo tanto, la misma línea no funciona para un servicio y para el otro. Listas de Google como campos compatibles Usuario-agente, Permitir, Disallow y Sitemap y escribe que otros campos como la derivación de los rastreos no son compatibles; Se pasan líneas inválidas. Crawl-delay tiene la intención de frenar las llamadas de un rastreador. Bing describió en 2012 que su rastreador presta atención a esta línea, y aconseja contra valores altos, porque entonces él recupera menos páginas. Una línea de noindex no aparece en el estándar o en la lista de Google.
Una página bloqueada puede estar en el resultado de la búsqueda, sólo sin una descripción
Un bloqueo en el robots.txt prohíbe la recuperación, no la pantalla. Google escribe: Una página bloqueada todavía puede entrar en el índice si otros sitios web se unen a él; en el resultado de la búsqueda es la dirección, pero no descripción. La Consola de Búsqueda lista casos como "Indexed, aunque bloqueados por robots.txt". Esto crea una trampa de dos partes: Quien bloquea un lado y al mismo tiempo le da un noindex, logra lo contrario de lo previsto. Google lee el noindex sólo cuando se recupera la página, y la recuperación prohíbe el bloque. Para archivos de script bloqueados, según Google: no los ejecuta, y lo que recarga no llega a Google.
Sin las cerraduras, Google se permite cargar los mismos archivos que el navegador de sus visitantes
Google está en 27. Octubre de 2014 en sus directrices técnicas: Aquellos que prohíben la recuperación de archivos de script y estilo inmediatamente deterioran lo bien que Google muestra y registra el contenido, y esto puede llevar a peores rankings. La introducción de hoy a robots.txt lo pone de esta manera: Los archivos sin los cuales el rastreador entiende la página más difícil no deben ser bloqueados. Si se eliminan las líneas, Google puede cargar los mismos archivos que un navegador en la próxima recuperación. El resultado se puede ver: La comprobación URL de la Consola de Búsqueda muestra después de "Prueba URL en vivo" bajo "Mostrar página probada" una foto de la página como Google lo muestra.
Cada línea disallow es de lectura pública
Los robots.txt pueden ser abiertos por cualquiera en el navegador. RFC 9309 establece en sus instrucciones de seguridad: Quien enumera caminos en los robots. txt los hace públicos y por lo tanto se puede encontrar, y el archivo no reemplaza medidas de protección efectivas. Así que una línea como Disallow: /internal/ or Disallow: /backup/ es exactamente la carpeta que nadie debe encontrar. Los que se adhieren a las reglas no las llaman; Cualquiera puede escribir en la dirección. Google da dos maneras para las páginas que no deben buscarse: un noindex en la página o una contraseña. Lo que es confidencial pertenece a un registro.
Una prohibición general también se aplica a los rastreadores de los servicios de inteligencia artificial
Los rastreadores de los proveedores de AI leen el mismo archivo, y esto añade dos trampas. El primero: A Disallow: / under User-agent: *, sobre un resto de la operación de prueba, también se aplica a los rastreadores de búsqueda de los servicios AI. OpenAI escribe que un sitio web que excluye OAI SearchBot no se muestra en las respuestas de búsqueda de ChatGPT; Antrópico escribe que sus rastreadores prestan atención a los robots.txt. El segundo: un rastreador sigue sólo al grupo que más exactamente coincide con su nombre; Así es como Google lo describe para sus rastreadores y Bing para Bingbot. Cualquier persona que cree su propio grupo para un rastreador de inteligencia artificial debe repetir todas las reglas que deben aplicarse a él, porque el grupo general bajo la estrella es entonces eliminado para él. Google-Extended sólo afecta los modelos AI de Google y, según Google, no cambia la inclusión en la búsqueda.
Qué trampa
Las trampas de carga incluyen cerraduras cuyo camino termina en archivos de estilo o scripts, así como cerraduras de carpetas de activos típicos: wp-content y wp-incluye en WordPress, activos, estática, css, js, imágenes, medios, fileadmin y typo3conf en otros sistemas. Una cerradura en el área interna, la búsqueda o el carrito de compras no es una trampa y no se menciona. Las líneas que Google no lee son Noindex, Nofollow y Crawl-delay. Crawl-delay nota a Bing, donde la línea frena las llamadas. Google ha interrumpido el apoyo no oficial para Noindex en robots.txt 2019; Si quieres mantener una página desde el índice, necesitas una meta tag o un encabezado en la página misma. El resultado indica las líneas afectadas. No cambia el valor de punto porque el conjunto de reglas idx-v1 sigue sin cambiar; aparece en el informe y en la lista de tareas.
¿Por qué las barreras son principalmente de tiempos antiguos
Antes de 2015, se consideró buen estilo para bloquear todo excepto el contenido para ahorrar presupuesto de los rastreadores. Ya que Google hace páginas completamente, lo contrario es cierto: todo lo que pertenece a la presentación debe ser retrávido. Muchos archivos robots.txt todavía contienen las entradas antiguas porque fueron copiados de plantillas y nunca fueron verificados. La corrección es la eliminación de las filas; que realmente necesita proteger directorios individuales lo hace a través de derechos de acceso, no a través de los robots.txt. Para las intenciones de noindex, la declaración pertenece a la página: como meta tag en el encabezado o como encabezado de la etiqueta X-Robots del servidor.
- Eliminar las cerraduras en carpetas y archivos que pertenecen a la pantalla: CSS, JS, imágenes, carpetas de activos.
- Sustitución Noindex líneas en los robots.txt a través de un meta tag robots con noindex en las páginas pertinentes.
- Utilice la herramienta de verificación URL de Google Search Console para comprobar si la vista renderizada está completa.
- Mantén a los robots.txt corto: referencia de mapa de sitio, exclusiones reales, nada más.
- El capital y el caso inferior cuenta en el camino: Desacuerdo: /Internal/ no bloquea /internal/. Revise cada bloqueo contra la ortografía en la barra de direcciones.
- Una cerradura sin salpicaduras al final alcanza más allá de lo que parece: Disallow: /image también bloquea /image/ y /formation.html. Con slash, es decir, Disallow: /picture/, ella sólo golpea la carpeta.
- Si su robots.txt tiene sus propios grupos para los rastreadores individuales, lea cada grupo como si los otros no existieran. Si un bloque que está debajo de la estrella falta en un grupo, no se aplica a este rastreador.
- Con sistemas modulares como Wix, los robots.txt a menudo no se pueden procesar directamente, según Google. A continuación, busca la configuración del sistema para la visibilidad de los motores de búsqueda.
- No tome robots.txt de una plantilla o de otro sitio web. Para cada línea, su agencia debe ser capaz de decir lo que está allí para.




