Aller au contenu
EUID Service de contrôle & label, Accueil
Faire contrôler votre site

Cette traduction n’a pas encore été relue par la rédaction. La version allemande fait foi. Deutsche Fassung

Indexation

Qu'est-ce qui appartient à un robot.txt et que ne fait pas?

Un robot.txt comprend quelques lignes: pour qui les règles s'appliquent, quelles zones les rampeurs ne devraient pas récupérer et où se trouve le plan du site. Un site Web de petite entreprise vient avec quatre lignes. Non inclus sont les verrous sur les fichiers de style et de script, les instructions telles que Noindex, que Google ne lit pas là, et les chemins qui devraient rester secrets, parce que le fichier peut ouvrir n'importe qui. Si le fichier manque entièrement, Google suppose qu'il n'y a pas de restrictions.

Les lignes que Google lit

Google lit ces champs: User-agent dit pour lequel ramper les règles suivantes s'appliquent; L'étoile représente tout le monde. Refuser appelle un chemin que le rampeur ne devrait pas récupérer. Autorise encore une partie. Sitemap indique l'adresse complète du sitemap et se tient n'importe où, quel que soit le groupe. Autres champs Google ne lit pas, lignes invalides il saute. Ce qui ne touche pas une ligne d'exclusion peut être récupéré. Les commentaires commencent par un rhombus. Le fichier doit être appelé robots.txt, stocké comme un fichier texte dans UTF-8 et dans le répertoire principal.

Comment un crawler applique les règles

Le fichier ne s'applique qu'à l'hôte, au protocole et au port sous lequel il est situé: Les robots.txt de www.ihre-domaine.at ne règle rien pour shop.ihre-domaine.at. Si plusieurs règles s'appliquent à une adresse, celle avec le chemin le plus long s'applique; si deux sont de la même longueur, la permission s'applique selon la norme RFC 9309. Les chemins diffèrent en majuscules et en minuscules et s'appliquent dès le début de l'adresse: Disallow: /search meet également /search-and-finde.html. Si un rampeur a son propre groupe, il ne lit plus le groupe général sous l'étoile sur Google. Google lit au plus 500 KiB du fichier et le garde généralement en cache pendant 24 heures.

Ce qui est vraiment bloqué

Google cite comme le but du fichier principalement pour sauver le serveur de trop de récupérations. Par conséquent, les blocs sont utiles pour les zones qui génèrent de nombreuses adresses sans leur propre contenu pour la recherche: les pages de résultats de la recherche interne, le panier, la caisse. Pour un site avec quelques dizaines de pages, souvent aucun bloc n'est nécessaire. Ensuite, le fichier se compose du groupe pour tous les rampeurs et la ligne sitemap.

Ce qui n'y appartient pas

Verrouiller les dossiers avec les fichiers style et script: Google a besoin de ces fichiers pour afficher la page. Lignes comme Noindex ou Crawl-delay: Google ne les lit pas, et un noindex appartient à la page elle-même. Voies vers les zones confidentielles: La RFC 9309 indique que les voies énumérées sont publiques et donc accessibles et que les règles ne sont pas un contrôle d'accès. Et bloquer les pages qui devraient disparaître de la recherche: Google peut toujours enregistrer une adresse bloquée si d'autres sites Web y lient.

Exemples

robots.txt d'un site web d'entreprise

Non rencontré
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10
Réalisation
User-agent: *
Disallow: /suche/
Disallow: /warenkorb/

Sitemap: https://www.ihre-domain.at/sitemap.xml

La première version verrouille le dossier de style et de script, nomme publiquement un chemin confidentiel, et contient deux lignes que Google ne lit pas. La deuxième bloque deux zones sans leur propre contenu pour la recherche et appelle le plan du site.

  • Allez dans son domaine.at/robots.txt et passez par la ligne de fichier par ligne: Pour chaque bloc, quelqu'un devrait pouvoir dire à quoi il sert.
  • Après chaque changement, faites vérifier si la page d'accueil, les fichiers de style et les scripts peuvent être récupérés plus loin.

Plus sur ce sujet

Deutsche Fassung dieser Seite

  • Label Digitale Barrierefreiheit
  • Label Daten & Recht
  • Label Technische Qualität
  • Label Digital Excellence
  • Label Cyberversicherung

Contrôlé. Pour un meilleur avenir numérique.euid.com