Cette traduction n’a pas encore été relue par la rédaction. La version allemande fait foi. Deutsche Fassung
Indexation
Qu'est-ce qui appartient à un robot.txt et que ne fait pas?
Un robot.txt comprend quelques lignes: pour qui les règles s'appliquent, quelles zones les rampeurs ne devraient pas récupérer et où se trouve le plan du site. Un site Web de petite entreprise vient avec quatre lignes. Non inclus sont les verrous sur les fichiers de style et de script, les instructions telles que Noindex, que Google ne lit pas là, et les chemins qui devraient rester secrets, parce que le fichier peut ouvrir n'importe qui. Si le fichier manque entièrement, Google suppose qu'il n'y a pas de restrictions.
Les lignes que Google lit
Google lit ces champs: User-agent dit pour lequel ramper les règles suivantes s'appliquent; L'étoile représente tout le monde. Refuser appelle un chemin que le rampeur ne devrait pas récupérer. Autorise encore une partie. Sitemap indique l'adresse complète du sitemap et se tient n'importe où, quel que soit le groupe. Autres champs Google ne lit pas, lignes invalides il saute. Ce qui ne touche pas une ligne d'exclusion peut être récupéré. Les commentaires commencent par un rhombus. Le fichier doit être appelé robots.txt, stocké comme un fichier texte dans UTF-8 et dans le répertoire principal.
Comment un crawler applique les règles
Le fichier ne s'applique qu'à l'hôte, au protocole et au port sous lequel il est situé: Les robots.txt de www.ihre-domaine.at ne règle rien pour shop.ihre-domaine.at. Si plusieurs règles s'appliquent à une adresse, celle avec le chemin le plus long s'applique; si deux sont de la même longueur, la permission s'applique selon la norme RFC 9309. Les chemins diffèrent en majuscules et en minuscules et s'appliquent dès le début de l'adresse: Disallow: /search meet également /search-and-finde.html. Si un rampeur a son propre groupe, il ne lit plus le groupe général sous l'étoile sur Google. Google lit au plus 500 KiB du fichier et le garde généralement en cache pendant 24 heures.
Ce qui est vraiment bloqué
Google cite comme le but du fichier principalement pour sauver le serveur de trop de récupérations. Par conséquent, les blocs sont utiles pour les zones qui génèrent de nombreuses adresses sans leur propre contenu pour la recherche: les pages de résultats de la recherche interne, le panier, la caisse. Pour un site avec quelques dizaines de pages, souvent aucun bloc n'est nécessaire. Ensuite, le fichier se compose du groupe pour tous les rampeurs et la ligne sitemap.
Ce qui n'y appartient pas
Verrouiller les dossiers avec les fichiers style et script: Google a besoin de ces fichiers pour afficher la page. Lignes comme Noindex ou Crawl-delay: Google ne les lit pas, et un noindex appartient à la page elle-même. Voies vers les zones confidentielles: La RFC 9309 indique que les voies énumérées sont publiques et donc accessibles et que les règles ne sont pas un contrôle d'accès. Et bloquer les pages qui devraient disparaître de la recherche: Google peut toujours enregistrer une adresse bloquée si d'autres sites Web y lient.
Exemples
robots.txt d'un site web d'entreprise
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10User-agent: *
Disallow: /suche/
Disallow: /warenkorb/
Sitemap: https://www.ihre-domain.at/sitemap.xmlLa première version verrouille le dossier de style et de script, nomme publiquement un chemin confidentiel, et contient deux lignes que Google ne lit pas. La deuxième bloque deux zones sans leur propre contenu pour la recherche et appelle le plan du site.
- Allez dans son domaine.at/robots.txt et passez par la ligne de fichier par ligne: Pour chaque bloc, quelqu'un devrait pouvoir dire à quoi il sert.
- Après chaque changement, faites vérifier si la page d'accueil, les fichiers de style et les scripts peuvent être récupérés plus loin.




