Cette traduction n’a pas encore été relue par la rédaction. La version allemande fait foi. Deutsche Fassung
Indexation
Comment reconnaître le vrai Googlebot?
A l'adresse IP, jamais au nom. L'identificateur "Googlebot" dans le protocole d'accès est une indication de l'expéditeur, et tout programme peut l'envoyer; Google lui-même écrit qu'il est souvent falsifié par d'autres rampeurs. Real est l'accès si son adresse IP appartient à Google. Au cas par cas, Google mentionne une double requête dans le système de nommage Internet (DNS), les listes de ses zones IP publiées pour la protection pare-feu et bot.
L'identificateur ne prouve rien
Chaque récupération d'un site Web indique dans l'en-tête utilisateur-agent qui demande. Personne ne vérifie cette information. Google appelle les spammers et autres fauteurs de troubles qui accèdent aux sites Web et prétendent être Google. En outre, les outils de vérification envoient l'identificateur pour voir ce qu'un moteur de recherche de site Web livre. Pour votre pare-feu, cela a des conséquences dans les deux sens. Celui qui fait confiance au nom laisse passer les imitateurs. Et quiconque freine accède avec ce nom en général, parce qu'il y en a beaucoup qui sont visibles, peut rencontrer le vrai rampant.
L'affaire individuelle: questions en allers et retours dans le DNS
Pour une seule adresse IP du protocole d'accès, Google décrit ce chemin. La requête inverse demande à quel nom appartient l'adresse IP. Le nom doit se terminer sur googlebot.com, google.com ou googleusercontent.com. La requête avancée demande quelle adresse IP appartient à ce nom. Il doit être le même que dans le procès-verbal. La vérification croisée est nécessaire parce que l'entrée en arrière est déterminée par le propriétaire d'une adresse IP. Votre hôte gère les deux requêtes avec la commande hôte; L'exemple ci-dessous montre Google propre adresse de l'échantillon.
La solution permanente: les listes IP de Google
Pour protéger les pare-feu et les robots, Google publie les zones IP de ses rampeurs sous forme de fichiers, séparément par type d'accès. Le fichier common-crawlers.json indique les adresses des rampeurs généraux comme Googlebot; ils adhèrent toujours aux robots.txt lorsqu'ils sont automatiquement récupérés. Le fichier special-crawlers.json s'applique à des cas spéciaux tels que le AdsBot. D'autres fichiers s'appliquent aux demandes faites par un utilisateur; Google cite comme exemple la confirmation de la propriété d'un site Web. De tels appels ne dépendent pas des robots.txt. Les adresses sont dans les fichiers comme zones dans l'orthographe du CIDR. Une protection qui lit ces listes permet à travers le trafic réel et n'a pas à faire confiance au nom.
Que se passe-t-il si la protection rejette le vrai Googlebot
Si la protection répond au vrai Googlebot avec une erreur de la série 4xx, environ 403, Google traite cela comme une page qui n'existe pas: toutes les réponses 4xx sauf 429 sont traitées de la même façon, et l'adresse est supprimée de l'index. À 429 et erreurs de la série 5xx, Google ralentit temporairement la récupération. Les visiteurs ne le remarquent pas, le site charge comme toujours. Il devient visible dans la console de recherche: dans le rapport d'indexation de page et dans l'outil de vérification d'URL, dont le test en direct montre ce que Google obtient en ce moment.
Même échantillon pour les rampeurs d'IA
OpenAI publie également les adresses IP de ses rampeurs, une liste pour les utilisateurs GPTBot, OAI SearchBot et ChatGPT. Tous ceux qui veulent apparaître dans la recherche de ChatGPT devraient, selon OpenAI, permettre l'OAI SearchBot dans les robots.txt et laisser l'accès des zones IP publiées à travers. Une protection pour les robots peut donc également décider ici par origine. Lequel de ces rampeurs vous autorisez est votre propre question; Elle répond à l'article « Puis-je bloquer les rampeurs d'IA, et qu'est-ce que j'abandonne? ».
Exemples
Deux accès avec l'identificateur Googlebot
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1Pour la première adresse il n'y a pas de nom sur Google: l'identifiant est falsifié. La seconde est aller-retour.
- Laissez l'hôte afficher le trafic de la semaine dernière avec l'identifiant Googlebot, avec l'adresse IP et le code d'état.
- Faites vérifier certaines de ces adresses IP avec la requête DNS dupliquée.
- Demandez au fournisseur de votre pare-feu ou de votre protection bot s'il reconnaît les rampeurs de moteurs de recherche sur les listes IP de Google et ce que le paramètre est appelé.
- Dans Search Console, utilisez l'outil de vérification d'URL et "Test Live URL" pour voir si Google peut récupérer votre page d'accueil et une sous-page.




