Esta traducción aún no ha sido revisada editorialmente. La versión alemana es la vinculante. Deutsche Fassung
SEO
¿Cómo reconozco una línea inválida en los robots.txt?
Un robots.txt dice motores de búsqueda que áreas de su sitio web se les permite recuperar. Google salta líneas que son inválidas. Lighthouse advierte que un robot inválido.txt puede mantener los motores de búsqueda lejos de páginas públicas o páginas de compartir que no deben aparecer en la búsqueda. El modo de expertos comprueba cada línea y nombra los inválidos con su número.
Una regla antes de que el agente de usuario no se aplique a un rastreador
Si una instrucción es antes de la primera línea de usuario-agente, ningún rastreador la sigue después de Lighthouse. Cualquiera que quisiera bloquear tal área lo dejó abierto. El robots.txt también es legible para todos: quien lo llama, ve todos los caminos que bloqueas.
Cómo el modo experto comprueba los robots. Txt
El modo de expertos carga los robots.txt y comprueba cada línea por errores que Lighthouse también reporta: declaración desconocida, un patrón que no comienza con “/” o “*”, un “$” en medio del patrón, un mapa de sitio sin una dirección válida y reglas sin un agente de usuario. Para ello, reporta líneas sin colon y líneas de mando vacías. El archivo denomina cada línea con número y razón.
Google Reads Estas Normas
Google admite los campos de usuario-agente, permitir, desactivar y sitemap. Otros como la rabia de arrastrar lo anulan. Un camino comienza con "/", y en el camino, mayúsculas y minúsculas no cuentan, en el nombre del campo. El personaje "*" representa cualquier número de caracteres, "$" para el final de la dirección. Nombre el mapa del sitio con la dirección completa incluyendo protocolo y dominio. Lo que está detrás de 500 KiB, Google ya no lee.
Ejemplos
Cerradura para un área
Disallow: /intern
User-agent: *
Disalow: /lager-alt
Sitemap: /sitemap.xmlUser-agent: *
Disallow: /intern
Disallow: /lager-alt
Sitemap: https://www.beispiel.at/sitemap.xmlPrimero la línea de usuario-agente, luego las reglas; el mapa de sitio con una dirección completa.
- Abra su robots.txt en la dirección de su sitio web con /robots.txt al final y corrija las líneas que menciona el archivo.
- Comience cada grupo con una línea de usuario-agente, incluyendo Permitir y Desmontar con caminos comenzando desde "/".
- Consulte el archivo en el informe robots.txt de Google Search Console.
- Escribe las instrucciones exactamente como en la descripción de Google: User-agent, Allow, Disallow, Sitemap. Un tipo apenas se nota cuando se lee, un examen lo encuentra inmediatamente.




