Quel crawler Google utilise vraiment ses outils de test SEO ?

Pourquoi cette précision de Google sur les crawlers change-t-elle la donne ?

Google exploite deux crawlers distincts : Googlebot mobile (smartphone) et Googlebot desktop. Depuis le déploiement du mobile-first indexing, la majorité des sites sont crawlés et indexés via le crawler mobile. Mais tous les outils de Google n'utilisent pas systématiquement le même crawler — et c'est là que ça se complique pour les praticiens SEO.

Cette déclaration de Martin Splitt lève le voile sur un flou technique qui générait des incohérences de diagnostic. Vous testiez une URL avec le Mobile-Friendly Test et obteniez un résultat, puis avec l'URL Inspection Tool et obteniez des données différentes. Pas un bug — simplement deux crawlers distincts à l'œuvre.

Comment chaque outil sélectionne-t-il son crawler ?

Le Mobile-Friendly Test utilise systématiquement le crawler mobile, sans exception. C'est cohérent avec sa mission : valider que votre page s'affiche correctement sur smartphone. Pas de surprise ici.

L'URL Inspection Tool (dans la Search Console) adopte une logique différente : il utilise le crawler correspondant au statut mobile-first de votre site. Si votre site est migré vers l'index mobile-first, l'outil utilisera Googlebot mobile. S'il reste sur l'index desktop (cas rare en 2023+), c'est Googlebot desktop qui analyse vos pages. Cette distinction est critique pour interpréter correctement les rapports de couverture et les erreurs d'exploration.

Le Rich Results Test offre une flexibilité unique : vous choisissez explicitement quel crawler utiliser. Utile pour comparer le rendu des données structurées côté mobile vs desktop, notamment si votre balisage schema.org diffère entre les deux versions.

Quelles implications concrètes pour l'analyse SEO quotidienne ?

Soyons honnêtes : cette distinction n'est pas anodine. Si vous diagnostiquez une erreur dans l'URL Inspection Tool alors que votre site est en mobile-first, vous analysez le comportement du Googlebot mobile. Les ressources bloquées, les timeouts, les erreurs JavaScript — tout ce que vous observez reflète l'expérience du crawler mobile.

Inversement, si vous testez avec le Mobile-Friendly Test et que votre page échoue, mais que l'URL Inspection Tool (sur un site desktop-only théorique) valide la page… vous comparez deux crawlers différents. Les user-agents ne sont pas identiques, les capacités de rendu JavaScript peuvent diverger, et les timeouts de ressources varient. Ce n'est pas une contradiction de Google — c'est une logique d'outil.

• Mobile-Friendly Test : toujours Googlebot mobile, quel que soit le statut mobile-first du site.
• URL Inspection Tool : crawler adapté au statut mobile-first (mobile si migré, desktop sinon).
• Rich Results Test : choix manuel du crawler via l'interface.
• Les résultats peuvent diverger entre outils — pas un bug, une différence de crawler.
• Vérifiez le statut mobile-first de votre site (Search Console > Paramètres > Exploration) avant d'interpréter les diagnostics.

Cette clarification résout-elle vraiment l'ambiguïté des diagnostics Google ?

Partiellement. La déclaration de Splitt est claire sur la mécanique, mais elle ne dit rien sur les cas limites — par exemple, que se passe-t-il pendant la migration vers mobile-first, quand Google bascule progressivement un site ? L'URL Inspection Tool change-t-il de crawler en cours de route ? [À vérifier] sur des sites en transition.

Autre point : Google ne documente pas officiellement les différences de comportement entre Googlebot mobile et desktop dans ces outils. On sait qu'ils partagent la même base technique (Chromium), mais les timeouts, les limites de ressources, les user-agents peuvent varier. Si vous observez qu'une page passe le test mobile-friendly mais échoue dans l'URL Inspection Tool (cas rare mais possible), cherchez du côté des ressources critiques bloquées pour un seul des deux crawlers.

Le choix du crawler dans Rich Results Test est-il vraiment utile ?

Ça dépend de votre architecture. Si vous servez exactement le même HTML (avec les mêmes balises schema.org) en mobile et desktop, le choix du crawler dans le Rich Results Test n'impacte pas grand-chose. Les données structurées seront identiques.

Mais si vous pratiquez le responsive adaptatif avec des balises schema.org conditionnelles (ex : affichage différent de prix, de disponibilité, d'avis selon le device), alors oui — tester avec les deux crawlers révèle des divergences potentielles. Google indexe prioritairement via mobile-first, donc ce que voit Googlebot mobile prime. Si vos données structurées desktop sont plus riches mais invisibles côté mobile, elles ne compteront pas pour l'indexation.

Faut-il systématiquement tester avec les deux crawlers ?

Non, sauf exception. Si votre site est en mobile-first (99 % des cas), concentrez-vous sur le crawler mobile. C'est lui qui nourrit l'index principal de Google. Tester en desktop n'apporte de la valeur que si vous soupçonnez une différence de comportement — par exemple, un JavaScript qui charge différemment, un lazy-loading mal configuré, ou des ressources bloquées uniquement pour l'un des deux user-agents.

Dans les faits terrain, on observe rarement des écarts critiques entre les deux crawlers sur des sites techniques bien gérés. Les vraies divergences surviennent sur des configurations hybrides mal ficelées : m-dot avec redirections conditionnelles bancales, adaptive serving qui sert des templates différents, ou pire — des sites qui bloquent robots.txt différemment selon le user-agent. Si vos fondations sont propres, un seul test (mobile) suffit.

Que faire concrètement avec cette information ?

Première étape : vérifiez le statut mobile-first de votre site dans la Search Console (Paramètres > Exploration). Si vous êtes migré (cas majoritaire), retenez que l'URL Inspection Tool reflète le comportement de Googlebot mobile. Tout diagnostic d'erreur, de timeout, de ressource bloquée doit être analysé sous cet angle.

Deuxième action : utilisez le bon outil selon votre objectif. Vous voulez valider le rendu mobile d'une page ? Mobile-Friendly Test. Vous enquêtez sur une erreur de couverture dans la Search Console ? URL Inspection Tool. Vous déboguez des données structurées et soupçonnez une différence mobile vs desktop ? Rich Results Test avec test des deux crawlers.

Quelles erreurs éviter dans l'utilisation de ces outils ?

Ne comparez pas directement les résultats du Mobile-Friendly Test et de l'URL Inspection Tool sans vérifier quel crawler chacun utilise. Si vous observez une divergence, ce n'est pas forcément un bug Google — c'est peut-être une vraie différence de comportement entre les deux crawlers sur votre infrastructure.

Autre piège : supposer que le Rich Results Test avec crawler desktop vous donne une vision de ce que Google indexe. Non. Si votre site est en mobile-first, Google indexe ce que voit le crawler mobile. Le test desktop vous montre une version alternative qui ne compte pas pour le ranking. Utile pour diagnostic, pas pour validation finale.

Enfin, ne négligez pas les différences de user-agent. Certains CMS, CDN ou WAF filtrent ou adaptent le contenu selon le user-agent. Si votre site détecte Googlebot desktop vs Googlebot mobile et sert des réponses différentes, les outils de test Google refléteront ces variations — et c'est votre configuration, pas un dysfonctionnement de Google.

Comment auditer son site pour éviter les incohérences entre crawlers ?

Lancez un crawl local avec Screaming Frog en simulant les deux user-agents (Googlebot smartphone et Googlebot desktop). Comparez les réponses HTTP, les temps de chargement, les ressources bloquées. Si vous détectez des écarts significatifs, creusez : règles robots.txt différenciées ? Redirections conditionnelles ? JavaScript qui charge différemment ?

Vérifiez aussi vos données structurées avec le Rich Results Test sur les deux crawlers pour les pages critiques (produits, articles, FAQ). Si vous pratiquez le responsive adaptatif, assurez-vous que les balises schema.org critiques (prix, disponibilité, avis) sont identiques côté mobile et desktop — ou au minimum présentes côté mobile, puisque c'est lui qui nourrit l'index.

• Vérifier le statut mobile-first de votre site dans Search Console (Paramètres > Exploration).
• Utiliser le Mobile-Friendly Test pour valider le rendu mobile, l'URL Inspection Tool pour enquêter sur les erreurs de couverture.
• Tester les données structurées avec le Rich Results Test en mode mobile (prioritaire) et desktop (si doute).
• Crawler votre site localement avec les deux user-agents Googlebot pour détecter les écarts de comportement.
• Harmoniser les balises schema.org critiques entre mobile et desktop si votre architecture le permet.
• Ne pas interpréter une divergence de résultats entre outils comme un bug — identifier d'abord quel crawler est à l'œuvre.