Googlebot envoie-t-il vraiment un en-tête accept-language lors du crawl ?

Pourquoi Googlebot n'envoie-t-il pas systématiquement un en-tête accept-language ?

Le comportement de Googlebot diffère fondamentalement de celui des navigateurs classiques. Quand un utilisateur ouvre Chrome ou Firefox, son navigateur envoie automatiquement un en-tête HTTP accept-language reflétant ses préférences linguistiques (par exemple, "fr-FR,fr;q=0.9,en;q=0.8").

Googlebot, lui, fonctionne comme un agent neutre. Dans la majorité des cas, il n'envoie aucun en-tête accept-language, ou utilise l'anglais comme valeur par défaut. Cette approche volontairement minimaliste vise à crawler le contenu le plus universel et accessible possible, sans biais linguistique.

Le problème se pose quand un site s'appuie exclusivement sur cet en-tête pour déterminer quelle langue servir. Le serveur détecte l'absence d'en-tête (ou "en-US"), et redirige automatiquement vers la version anglaise — ou pire, vers une page d'erreur si aucune langue par défaut n'est configurée.

Qu'est-ce que cela signifie concrètement pour l'indexation multilingue ?

Si votre architecture multilingue repose sur la détection automatique de la langue via accept-language, Google ne verra qu'une seule version de vos pages — généralement l'anglaise. Les autres versions linguistiques ne seront jamais crawlées, donc jamais indexées.

Vous perdez ainsi toute visibilité dans les SERPs localisées. Un site avec des versions française, espagnole et allemande, mais qui bascule automatiquement selon l'en-tête, ne sera indexé qu'en anglais. Les requêtes sur Google.fr ou Google.es ne remonteront pas vos contenus localisés.

Cette configuration crée également des incohérences dans les balises hreflang. Vous déclarez des versions alternatives (via hreflang), mais Google ne peut pas les crawler pour valider les correspondances. Le moteur ignore alors vos annotations, considérant qu'elles pointent vers des ressources inaccessibles.

Existe-t-il des cas où Googlebot envoie quand même un en-tête accept-language ?

Selon Mueller, ces cas existent mais restent exceptionnels. Google peut parfois envoyer un en-tête accept-language lorsqu'il crawle depuis des Google Search Consoles configurées pour des pays spécifiques, ou dans le cadre de tests internes de rendu localisé.

Mais ces exceptions ne doivent jamais servir de base à une stratégie SEO internationale. Compter sur un comportement marginal et non documenté, c'est prendre le risque de voir 95 % de vos pages multilingues ignorées. La règle générale reste : Googlebot ne communique pas sa préférence linguistique.

• Googlebot n'envoie presque jamais d'en-tête accept-language, ou utilise l'anglais par défaut
• Les sites qui basculent automatiquement le contenu selon cet en-tête ne montrent à Google qu'une seule version linguistique
• Les versions alternatives ne sont alors ni crawlées ni indexées, rendant les balises hreflang inutiles
• La solution recommandée : afficher une bannière ou un sélecteur de langue, sans redirection automatique
• Les URLs distinctes par langue (/fr/, /es/, /de/) restent la méthode la plus fiable pour l'indexation multilingue

Cette déclaration est-elle cohérente avec les observations terrain ?

Oui, et c'est même un problème récurrent chez les sites multilingues mal configurés. Les logs serveur montrent systématiquement que Googlebot arrive sans en-tête accept-language, ou avec "en-US" comme seule valeur. Les architectes techniques qui découvrent le SEO international tombent souvent dans ce piège.

J'ai vu des sites e-commerce perdre 70 % de leur trafic organique non-anglophone parce qu'ils s'appuyaient sur la détection automatique. Les versions française, allemande, italienne existaient, étaient techniquement correctes, mais restaient invisibles pour Google. Le crawl budget se concentrait sur la version anglaise, créant un goulot d'étranglement total.

La recommandation de Mueller (afficher une bannière plutôt que rediriger) rejoint les bonnes pratiques documentées depuis des années. C'est cohérent avec les guidelines officielles sur hreflang et l'architecture multilingue. Rien de nouveau, mais une confirmation utile.

Quelles nuances faut-il apporter à cette recommandation ?

La bannière de sélection de langue, c'est bien sur le papier, mais ça pose des problèmes d'expérience utilisateur. Afficher systématiquement un pop-up "Choisissez votre langue" à chaque visite, c'est intrusif. Les utilisateurs détestent ça, et Google aussi si c'est mal implémenté (risque d'être considéré comme un interstitiel invasif sur mobile).

L'alternative pragmatique : utiliser des URLs distinctes par langue (/fr/, /es/, /de/) et implémenter une détection géographique intelligente côté client (via JavaScript), avec mémorisation du choix en cookie ou localStorage. L'utilisateur arrive sur la bonne version sans friction, mais Googlebot accède librement à toutes les URLs.

Autre point : Mueller parle de "basculer automatiquement le contenu", mais ne précise pas si ça concerne uniquement les redirections 302/301 ou aussi le rendu côté serveur avec le même URL. [À vérifier] : si un site utilise le même URL pour toutes les langues mais change le contenu HTML servi selon accept-language, est-ce que Google indexe plusieurs versions ? Probablement non, mais ça mériterait une clarification.

Dans quels cas cette règle pourrait-elle être contournée ?

Techniquement, tu pourrais configurer un rendu côté serveur qui détecte le user-agent de Googlebot et lui sert systématiquement toutes les versions linguistiques via un système de prérendu. Mais c'est risqué : Google interprète souvent ce type de pratique comme du cloaking.

L'exception légitime concerne les sites qui utilisent des sous-domaines ou domaines séparés par langue (fr.example.com, example.fr). Dans ce cas, l'en-tête accept-language n'entre pas en jeu puisque chaque version a son propre point d'entrée distinct. Google crawle chaque domaine indépendamment.

Que faut-il faire concrètement pour un site multilingue existant ?

Première étape : auditer les logs serveur pour vérifier comment Googlebot accède actuellement à vos pages. Filtre les requêtes par user-agent "Googlebot" et vérifie quelles URLs sont crawlées. Si tu ne vois qu'une seule version linguistique dans les logs, tu as un problème.

Ensuite, teste manuellement en simulant une requête sans en-tête accept-language. Utilise curl ou Postman pour envoyer une requête HTTP vers ton site sans cet en-tête, ou avec "en-US". Observe quelle version de la page est servie. Si tu tombes systématiquement sur l'anglais (ou une erreur), c'est que ton architecture dépend de cet en-tête.

Solution technique : migrer vers une architecture URL distincte. Implémente des chemins de type /fr/, /es/, /de/ (ou des sous-domaines). Chaque version linguistique doit avoir son propre URL accessible sans condition. Configure correctement les balises hreflang pour lier ces versions entre elles.

Quelles erreurs éviter lors de la mise en place d'une structure multilingue ?

Ne redirige jamais automatiquement l'utilisateur en fonction de sa géolocalisation IP ou de son en-tête accept-language via des redirections 301/302 côté serveur. C'est la configuration la plus toxique pour le SEO international. Googlebot se retrouve piégé dans une boucle ou bloqué sur une seule version.

Évite aussi les sélecteurs de langue purement JavaScript qui modifient le contenu sans changer l'URL. Google peut techniquement indexer du contenu JavaScript, mais c'est moins fiable. Si le contenu change dynamiquement sans que l'URL ne reflète cette différence, tu crées des signaux contradictoires pour le moteur.

Autre erreur classique : implémenter hreflang sans vérifier que toutes les URLs déclarées sont effectivement accessibles. Google teste les correspondances hreflang en crawlant les URLs. Si tes balises pointent vers des pages qui redirigent ou bloquent Googlebot, elles sont ignorées.

Comment vérifier que mon site est correctement configuré pour Googlebot ?

Utilise Google Search Console pour chaque version linguistique. Ajoute chaque variante (example.com/fr/, example.com/es/, etc.) comme propriété distincte. Vérifie que toutes reçoivent des impressions et des clics dans leurs pays/langues respectifs.

Teste également avec l'outil "Inspection d'URL" de la Search Console. Demande l'indexation d'une page dans chaque langue et observe le rendu HTML retourné par Google. Si toutes les pages affichent le même contenu (par exemple, toujours en anglais), c'est que la détection automatique interfère.

Enfin, surveille les rapports de couverture d'index. Si tu déclares 500 pages en français via hreflang mais que seulement 50 sont indexées, c'est un signal d'alarme. Google ne peut probablement pas accéder correctement aux versions alternatives.

• Auditer les logs serveur pour identifier quelles versions linguistiques Googlebot crawle réellement
• Tester manuellement les requêtes sans en-tête accept-language (via curl ou Postman)
• Migrer vers une architecture URL distincte (/fr/, /es/, etc.) si le site repose sur la détection automatique
• Implémenter correctement les balises hreflang entre toutes les versions linguistiques
• Configurer une Search Console par variante linguistique pour suivre les performances séparément
• Utiliser l'outil "Inspection d'URL" pour vérifier le rendu de chaque version par Googlebot