Esta traducción aún no ha sido revisada editorialmente. La versión alemana es la vinculante. Deutsche Fassung →
Indexierung
¿Qué trampas en la indexación de daño robots.txt?
El robots.txt dice motores de búsqueda que áreas no deben recuperar. Dos tipos de entradas causan más daño de lo que evitan. Primero, bloqueo para hojas de estilo, scripts y carpetas de activos: Google hace páginas como un navegador, y sin esos archivos, ve una pantalla desintegrada, evalúa erróneamente la amistad móvil, y no encuentra contenido recargado. En segundo lugar, las directivas que ningún rastreador entiende — Noindex, nofollow o gate-delay en robots.txt — que han sido ineficaces durante años y pretenden una seguridad que no existe. El área de prueba de indexación lee robots.txt e informa ambos.
Qué trampa
Las trampas de carga incluyen cerraduras cuyo camino termina en archivos de estilo o scripts, así como cerraduras de carpetas de activos típicos: wp-content y wp-incluye en WordPress, activos, estática, css, js, imágenes, medios, fileadmin y typo3conf en otros sistemas. Una cerradura en el área interna, la búsqueda o el carrito de compras no es una trampa y no se menciona. Noindex, Nofollow y Crawl-delay se consideran directivas ineficaces: Google ha interrumpido el apoyo no oficial para Noindex en robots.txt 2019; Si quieres mantener una página desde el índice, necesitas una meta tag o un encabezado en la página misma. El resultado indica las líneas afectadas. No cambia el valor de punto porque el conjunto de reglas idx-v1 sigue sin cambiar; aparece en el informe y en la lista de tareas.
¿Por qué las barreras son principalmente de tiempos antiguos
Antes de 2015, se consideró buen estilo para bloquear todo excepto el contenido para ahorrar presupuesto de los rastreadores. Ya que Google hace páginas completamente, lo contrario es cierto: todo lo que pertenece a la presentación debe ser retrávido. Muchos archivos robots.txt todavía llevan las entradas viejas porque fueron copiados de plantillas y nunca fueron verificados. La corrección es la eliminación de las filas; que realmente necesita proteger directorios individuales lo hace a través de derechos de acceso, no a través de los robots.txt. Para las intenciones de noindex, la declaración pertenece a la página: como meta tag en el encabezado o como encabezado de la etiqueta X-Robots del servidor.
- Eliminar las cerraduras en carpetas y archivos que pertenecen a la pantalla: CSS, JS, imágenes, carpetas de activos.
- Sustitución Noindex líneas en los robots.txt a través de un meta tag robots con noindex en las páginas pertinentes.
- Utilice la herramienta de verificación URL de Google Search Console para comprobar si la vista renderizada está completa.
- Mantén a los robots.txt corto: referencia de mapa de sitio, exclusiones reales, nada más.
