Esta traducción aún no ha sido revisada editorialmente. La versión alemana es la vinculante. Deutsche Fassung →
robots.txt y mapa del sitio: los dos archivos que controlan el acceso
El verificador ve si el archivo robots.txt nombra un mapa del sitio y si es accesible. El archivo robots.txt controla qué se puede obtener; el mapa del sitio dice qué existe — dos tareas diferentes que a menudo se confunden.
- El error más común es una referencia a un mapa del sitio que ya no existe o que se encuentra en otro host. El verificador informa ambos porque una referencia muerta tiene el mismo efecto que ninguna.
- El segundo más común es una exclusión que bloquea demasiado — por ejemplo, un directorio con hojas de estilo y scripts. Los motores de búsqueda no pueden representar la página correctamente y la califican en consecuencia.
- El servicio de comprobación se adhiere a sí mismo a este archivo: no obtiene direcciones que bloquea para su token de producto — e indica explícitamente la exclusión en el resultado, en lugar de presentarla como contenido faltante.