Aller au contenu
EUID Service de contrôle & label, Accueil
Faire contrôler votre site

Cette traduction n’a pas encore été relue par la rédaction. La version allemande fait foi. Deutsche Fassung

Indexation

Quels pièges dans robot.txt mal indexer?

Les robots.txt indiquent aux moteurs de recherche quelles zones ils ne devraient pas récupérer. Deux types d'entrées causent plus de dégâts qu'elles ne l'empêchent. Premièrement, bloquer les feuilles de style, les scripts et les dossiers d'actifs: Google rend des pages comme un navigateur, et sans ces fichiers, il voit un écran désintégré, évalue à tort la convivialité mobile, et ne trouve pas de contenu rechargé. Deuxièmement, les directives que Google ne lit pas: Noindex, Nofollow ou crawl-delay dans les robots.txt; Google a le support pour cela sur le 1er. Septembre 2019 terminé, et les lignes prétendent une sécurité qui n'existe pas. La zone de test d'indexation lit robots.txt et rapporte les deux.

Les ensembles standard Autoriser et refuser, plus de lignes chaque rampeur lit selon sa propre règle

RFC 9309, la norme Internet pour robots.txt à partir de septembre 2022, définit les lignes User-agent, Autoriser et refuser: pour lequel ramper une règle s'applique, ce qu'il est permis de récupérer et ce non. Un rampeur peut lire plus de lignes, il n'est pas obligé. Par conséquent, la même ligne ne fonctionne pas pour un service et pour l'autre. Google listes comme les champs pris en charge Agent-utilisateur, Autoriser, Refuser et Plan du site et écrit que d'autres champs tels que rampe-delay ne sont pas pris en charge; Lignes non valides sont passés. Crawl-delay est destiné à ralentir les appels d'un rampeur. Bing a décrit en 2012 que son rampeur prête attention à cette ligne, et conseille contre les valeurs élevées, parce qu'il récupère alors moins de pages. Une ligne de noindex n'apparaît pas dans la liste standard ou Google.

Une page bloquée peut être dans le résultat de la recherche, seulement sans description

Un verrou dans le robot.txt interdit la récupération, et non l'affichage. Google écrit: Une page bloquée peut toujours entrer l'index si d'autres sites Web y sont reliés; dans le résultat de la recherche est l'adresse, mais aucune description. La Search Console énumère des cas comme "Indexed, bien que bloqué par le fichier robots.txt". Cela crée un piège de deux parties: Celui qui verrouille un côté et en même temps lui donne un noindex, obtient le contraire de l'intention. Google lit le noindex seulement lorsque la page est récupérée, et la récupération interdit le bloc. Pour les fichiers de script verrouillés, selon Google: il ne les exécute pas, et ce qu'ils rechargent n'arrive pas à Google.

Sans les serrures, Google est autorisé à charger les mêmes fichiers que le navigateur de vos visiteurs

Google est sur 27. Octobre 2014 dans ses directives techniques: Ceux qui interdisent la récupération de scripts et de fichiers de style détériorent immédiatement la façon dont Google affiche et enregistre le contenu, et cela peut conduire à des classements pires. Aujourd'hui, l'introduction à robots.txt le met de cette façon: Les fichiers sans lesquels le rampeur comprend la page plus difficile ne devraient pas être bloqués. Si les lignes sont supprimées, Google peut charger les mêmes fichiers qu'un navigateur sur la prochaine récupération. Le résultat peut être visionné: La vérification de l'URL de la console de recherche affiche après "Tester l'URL en direct" sous "Afficher la page testée" une photo d'écran de la page comme Google l'affiche.

Chaque ligne de refus est lisible publiquement

Les robots.txt peuvent être ouverts par n'importe qui dans le navigateur. Le RFC 9309 indique dans ses instructions de sécurité: Celui qui énumère les chemins dans les robots. txt les rend publiques et donc accessibles, et le dossier ne remplace pas les mesures de protection efficaces. Donc une ligne comme Disallow: /internal/ ou Disallow: /backup/ est exactement le dossier que personne ne devrait trouver. Les gens qui adhèrent aux règles ne les appellent pas; N'importe qui d'autre peut taper l'adresse. Google donne deux façons pour les pages qui ne sont pas à rechercher: un noindex sur la page ou un mot de passe. Ce qui est confidentiel appartient à une inscription.

Une interdiction générale s'applique également aux fouilleurs des services AI

Les rampeurs des fournisseurs d'IA lisent le même fichier, ce qui ajoute deux pièges. Le premier: A Disallow: / under User-agent: *, environ un reste de l'opération de test, s'applique également aux fouilleurs des services AI. OpenAI écrit qu'un site qui exclut OAI SearchBot n'est pas affiché dans les réponses de recherche de ChatGPT; Anthropic écrit que ses rampeurs prêtent attention aux robots.txt. La seconde: un rampeur suit seulement le groupe qui correspond le plus exactement à son nom; C'est ainsi que Google le décrit pour ses rampeurs et Bing pour Bingbot. Quiconque crée son propre groupe pour un rampant AI devrait donc répéter toutes les règles qui devraient s'appliquer à lui, parce que le groupe général sous l'étoile est ensuite éliminé pour lui. Google-Extended n'affecte que les modèles d'IA de Google et, selon Google, ne modifie pas l'inclusion dans la recherche.

Ce qui est un piège

Les pièges de rendu comprennent les verrous dont le chemin se termine sur des fichiers de style ou des scripts, ainsi que les verrous de dossiers d'actifs typiques: wp-content et wp-includes sur WordPress, actifs, statique, css, js, images, médias, fileadmin et typo3conf sur d'autres systèmes. Un verrou dans la zone interne, la recherche ou le panier n'est pas un piège et n'est pas mentionné. Les lignes que Google ne lit pas sont Noindex, Nofollow et Crawl-delay. Crawl-delay avise Bing, où la ligne freine les appels. Google a cessé de soutenir officiellement Noindex dans robots.txt 2019; Si vous voulez garder une page de l'index, vous avez besoin d'une balise méta ou d'un en-tête sur la page elle-même. Le résultat indique les lignes touchées. Elle ne change pas la valeur de point car l'ensemble des règles idx-v1 reste inchangé; elle apparaît dans le rapport et dans la liste des tâches.

Pourquoi les barrières viennent surtout des temps anciens

Avant 2015, il était considéré comme un bon style pour verrouiller tout sauf le contenu pour économiser le budget de rampe. Puisque Google rend les pages complètement, le contraire est vrai: tout ce qui appartient à la présentation doit être récupérable. De nombreux fichiers robots.txt contiennent toujours les anciennes entrées parce qu'elles ont été copiées à partir de modèles et n'ont jamais été vérifiées. La correction est la suppression des lignes; qui a vraiment besoin de protéger les répertoires individuels le fait via les droits d'accès, pas via les robots.txt. Pour les intentions de noindex, l'instruction appartient à la page: comme une balise méta dans l'en-tête ou comme l'en-tête de balise du serveur X-Robots.

  • Supprimer les verrous sur les dossiers et les fichiers qui appartiennent à l'affichage: CSS, JS, images, dossiers d'actifs.
  • Remplacement Vous n'avez pas d'index dans les robots.txt à travers un méta tag robots avec aucunindex sur les pages pertinentes.
  • Utilisez l'outil de vérification URL de Google Search Console pour vérifier si la vue rendue est complète.
  • Gardez les robots.txt courts: référence du plan du site, exclusions réelles, rien d'autre.
  • Chiffres du capital et du cas inférieur dans le chemin: Refus: /Internal/ ne bloque pas /internal/. Vérifiez chaque verrouillage par rapport à l'orthographe dans la barre d'adresse.
  • Un verrou sans barre oblique à la fin atteint plus loin qu'il ne semble: Ne pas admettre: /image verrouille également /image/ et /formation.html. Avec slash, c'est-à-dire refuser: /photo/, elle ne touche que le dossier.
  • Si votre robot.txt a ses propres groupes pour les rampeurs individuels, lisez chaque groupe comme si les autres n'existaient pas. Si un bloc qui est sous l'étoile est manquant dans un groupe, il ne s'applique pas à ce rampeur.
  • Avec des systèmes modulaires comme Wix, les robots.txt ne peuvent souvent pas être traités directement, selon Google. Ensuite, recherchez les paramètres du système pour la visibilité des moteurs de recherche.
  • Ne prenez pas robots.txt d'un modèle ou d'un autre site Web. Pour chaque ligne, votre agence devrait pouvoir dire pour quoi elle est là.

Plus sur ce sujet

Deutsche Fassung dieser Seite

  • Label Digitale Barrierefreiheit
  • Label Daten & Recht
  • Label Technische Qualität
  • Label Digital Excellence
  • Label Cyberversicherung

Contrôlé. Pour un meilleur avenir numérique.euid.com