Faut-il bloquer le crawler GoogleOther dans votre fichier robots.txt ?

GoogleOther est un robot d'exploration distinct de Googlebot, utilisé par Google pour ses projets de recherche et développement internes. Contrairement à Googlebot qui indexe les pages pour les résultats de recherche, GoogleOther collecte des données à des fins expérimentales.

Ce crawler se décline en trois variantes spécialisées : une version générale pour le contenu textuel, une pour les images, et une dernière pour les vidéos. Ces robots ne contribuent pas directement au classement de votre site dans les SERP.

Gary Illyes précise que bloquer GoogleOther n'affectera pas votre référencement naturel, mais pourrait vous priver d'opportunités futures. Google utilise ces données pour développer de nouveaux produits et fonctionnalités qui pourraient bénéficier à votre site ultérieurement.

• GoogleOther ne participe pas à l'indexation des pages dans les résultats de recherche
• Le blocage n'a aucun impact direct sur votre positionnement SEO
• Ces crawlers servent à la R&D interne de Google
• Bloquer GoogleOther peut vous faire manquer de futures opportunités liées aux innovations Google
• La décision de bloquer ou non dépend de vos priorités en matière de données

Cette déclaration est cohérente avec ce que nous observons sur le terrain. Les logs serveur confirment que GoogleOther génère du crawl sans corrélation avec les variations de positionnement. Son blocage est effectivement neutre pour le SEO immédiat.

Cependant, il faut nuancer la recommandation de ne pas bloquer. Pour les sites à très forte volumétrie ou avec des ressources serveur limitées, GoogleOther peut représenter une charge supplémentaire non négligeable. De même, certains secteurs sensibles peuvent légitimement vouloir limiter l'accès de Google à leurs données.

La vraie question est celle de la confiance accordée à Google et de votre stratégie vis-à-vis de l'écosystème Google. Si vous misez sur une présence forte dans cet environnement, laisser GoogleOther crawler est probablement judicieux.

• Vérifiez vos logs serveur pour identifier la fréquence et l'impact du crawl GoogleOther sur vos ressources
• Maintenez GoogleOther autorisé par défaut dans votre robots.txt si vous n'avez pas de contraintes particulières
• Ne bloquez GoogleOther que si : vous avez des limitations serveur importantes, des préoccupations de confidentialité légitimes, ou une stratégie délibérée de limitation d'accès aux données
• Documentez votre décision dans une note interne pour référence future lors du lancement de nouveaux produits Google
• Surveillez les annonces Google concernant de nouvelles fonctionnalités qui pourraient nécessiter GoogleOther
• Testez l'impact sur la charge serveur avant de prendre une décision définitive sur les sites à fort trafic
• Configurez un monitoring spécifique pour distinguer GoogleOther de Googlebot dans vos analyses de crawl
• Réévaluez périodiquement (tous les 6 mois) votre politique vis-à-vis de GoogleOther en fonction des évolutions

La gestion fine des différents crawlers Google et l'optimisation du budget de crawl sont des problématiques techniques complexes qui nécessitent une expertise approfondie. Si vous souhaitez mettre en place une stratégie de crawl optimisée adaptée à votre infrastructure et vos objectifs business, l'accompagnement par une agence SEO spécialisée peut s'avérer précieux pour prendre les bonnes décisions et éviter les erreurs coûteuses.