Google a revu en profondeur sa documentation sur les crawlers, simplifiant la page principale et ajoutant 3 nouvelles pages plus détaillées. Ce changement vise à améliorer l’accès à des informations techniques précises. On vous explique les changements concrets apportés, ce qui a été supprimé, ajouté ou modifié, ainsi que les nouvelles sections.Ce qu’il faut retenir :L’ancienne page « Aperçu des crawlers » a été divisée en 3 pages distinctes pour plus de clarté.
Google a ajouté une section inédite sur les propriétés techniques des crawlers.
Les chaînes User-Agent ont été mises à jour et des informations sur l’encodage des contenus ont été ajoutées.Une réorganisation drastique de la documentationLa refonte de la documentation sur les crawlers de Google a divisé l’ancienne page d’ »Aperçu des crawlers » en 3 nouvelles pages distinctes : les crawlers courants, les crawlers à usage spécifique, et les fetchers déclenchés par les utilisateurs. Cette division est une réponse directe à la croissance de la page d’aperçu initiale, qui était devenue trop longue et complexe, limitant ainsi l’ajout de nouvelles informations.Avant la modification, la page d’aperçu regroupait tous les crawlers de Google, sans distinction claire entre leurs rôles spécifiques ni de séparation des informations techniques. Les utilisateurs devaient naviguer à travers de grandes sections pour trouver les informations qu’ils souhaitaient.Aujourd’hui, la documentation est plus précise et segmentée. Les informations sur les crawlers sont réparties selon leur type, facilitant ainsi la lecture et permettant l’ajout futur d’informations sans alourdir la page principale.Ce qui a changé en détailNouvelles pages de documentation :Crawlers courants : Google a déplacé les informations sur ses bots principaux, tels que Googlebot et ses variantes (Googlebot Image, Googlebot Video), dans une page dédiée. Ces bots obéissent toujours aux règles du fichier robots.txt, et la plupart des informations techniques restent inchangées, mais sont désormais mieux organisées.Crawlers à usage spécifique : Google a créé une page distincte pour des crawlers comme AdsBot et Mediapartners-Google, qui sont utilisés pour des produits spécifiques comme AdSense et Google Ads. Ces crawlers, qui opèrent parfois depuis des adresses IP différentes, sont désormais séparés des crawlers généraux.Fetchers déclenchés par les utilisateurs : Cette nouvelle section couvre les bots activés par des utilisateurs, comme Google Site Verifier ou Google Read Aloud. Ces bots, qui ne respectent généralement pas les directives de robots.txt, sont distinctement présentés avec des exemples d’utilisations spécifiques.Ajout d’une section sur les propriétés techniques des crawlersUne nouveauté importante est l’introduction d’une section sur les propriétés techniques des crawlers. Cette section n’existait pas dans l’ancienne version de la documentation. Elle détaille notamment les types d’encodage supportés, tels que gzip, deflate et Brotli (br), ainsi que la manière dont ces encodages sont indiqués dans l’en-tête Accept-Encoding des requêtes des crawlers.Extrait de la nouvelle documentation : »Les crawlers et fetchers de Google supportent les encodages de contenu suivants : gzip, deflate et Brotli (br). Ces encodages sont indiqués dans l’en-tête Accept-Encoding de chaque requête effectuée. »Avant : Aucune information spécifique n’était fournie sur l’encodage du contenu dans l’ancienne documentation.Après : L’encodage est maintenant explicitement mentionné, permettant aux gestionnaires de sites et experts SEO de mieux comprendre les interactions techniques entre leurs serveurs et les crawlers de Google.Mise à jour des chaînes User-AgentGoogle a également mis à jour certaines de ses chaînes User-Agent. Par exemple, une nouvelle chaîne a été ajoutée pour le GoogleProducer crawler. D’autres bots, comme Google-InspectionTool, sont également désormais documentés avec des informations plus détaillées.Extrait de la nouvelle documentation sur les agents utilisateurs : »GoogleProducer utilise la chaîne d’agent utilisateur suivante : GoogleProducer/1.0. »Cette précision n’était pas disponible dans l’ancienne version de la documentation.Crawling avec HTTP/2Une nouvelle mention est faite de l’utilisation de HTTP/1.1 et HTTP/2 dans les requêtes de crawl. Bien que la documentation précédente mentionnait déjà le protocole HTTP/1.1, la prise en charge du HTTP/2 est un ajout récent.Avant : La documentation ne faisait aucune mention de HTTP/2.Après : Google précise maintenant que ses crawlers peuvent utiliser HTTP/2, un protocole plus moderne et plus efficace.Un changement de fond pour mieux anticiper le futurEn divisant la documentation en sous-pages spécifiques, Google prépare le terrain pour un futur où davantage d’informations techniques seront ajoutées, sans compliquer pour autant l’expérience utilisateur. La structure modulaire facilite la mise à jour et permet aux gestionnaires de sites de mieux comprendre les interactions entre les différents types de crawlers et leurs sites.Cette approche répond à une problématique courante : la surcharge d’informations dans les pages de documentation. En regroupant les informations par catégorie et en introduisant de nouvelles sections techniques, Google améliore à la fois la lisibilité et la densité d’informations.
Auteur : Mathilde Grattepanche.
Certifié par : Victor Lerat.
Avec sa plume affûtée et son expertise en rédaction web, Mathilde a acquis une solide expérience avant de rejoindre l’équipe en tant que responsable éditoriale d’Abondance. Quand elle est au clavier, réactivité et qualité sont toujours au rendez-vous !
Contact : mathilde@abondance.com.
Victor Lerat
Expert SEO Abondance
Consultant SEO depuis +12 ans. Mes missions du quotidien ? Challenger vos projets et vos équipes. Dans un esprit de transmission et de partage, j’accompagne vos équipes pour qu’elles gagnent en autonomie et en performance.
Parutions sur un propos comparable:
Programmation/Abstraction .,Infos sur l’ouvrage. Disponible à CULTURA. »
Photographie/Classement et archivage/Sauvegarde des données numériques .,Ici la fiche de présentation. A emprunter en bibliothèque. »
Grec ancien/exercicesnumeration .,Référence litéraire de cet ouvrage. »
Assemblage d’un ordinateur/Matériel : description .,Référence litéraire de cet ouvrage. »
Cette chronique se veut reproduite du mieux possible. Vous avez la possibilité d’utiliser les coordonnées indiquées sur notre site pour apporter des précisions sur ce texte sur le thème « Conseil et assistance en système d’information ». seve-informatique.com vous a sélectionné cet article qui parle du thème « Conseil et assistance en système d’information ». Le site seve-informatique.com a pour destination de fournir différentes publications autour de la thématique Conseil et assistance en système d’information développées sur la toile. Restez connecté sur notre site seve-informatique.com et nos réseaux sociaux dans le but d’être au courant des futures annonces.