Googlebot ignore-t-il vraiment l'accept-language header de votre site multilingue ?

Pourquoi Googlebot crawle-t-il sans header accept-language ?

Googlebot ne se comporte pas comme un navigateur standard. Contrairement à un utilisateur dont le navigateur envoie systématiquement un header accept-language reflétant ses préférences linguistiques, le bot de Google crawle la plupart du temps sans cet en-tête HTTP.

Quand ce header est envoyé, il utilise 'en' (anglais) par défaut. Cette approche délibérée vise à garantir que Googlebot accède à une version stable et prévisible de vos pages, sans biais linguistique introduit par le serveur.

Quel est le risque pour un site qui détecte la langue via accept-language ?

Si votre serveur détecte le header accept-language et sert automatiquement du contenu différent selon la langue, vous créez un problème d'indexation majeur. Google ne verra que la version servie par défaut (souvent l'anglais, parfois la langue par défaut de votre configuration serveur).

Les autres versions linguistiques restent invisibles au crawl. Votre site français, espagnol ou japonais peut exister techniquement, mais Googlebot n'y accédera jamais si l'accès dépend d'un header qu'il n'envoie pas. C'est un angle mort complet dans l'indexation.

Comment Google distingue-t-il réellement les versions linguistiques ?

Google s'appuie sur des signaux explicites : URLs distinctes par langue (sous-domaines, sous-répertoires, paramètres d'URL), balises hreflang déclarées dans le HTML ou le sitemap, et contenu visible sur la page.

Le header accept-language n'entre jamais dans l'équation. C'est une donnée volatile, côté client, que Google ignore volontairement pour privilégier des signaux structurels contrôlables par le webmaster.

• Googlebot ne lit pas accept-language dans 99% des cas — il crawle « neutre »
• Basculer le contenu via ce header rend vos versions linguistiques invisibles à l'indexation
• URLs distinctes + hreflang sont les seuls signaux fiables pour le multilinguisme
• Une bannière de sélection manuelle garantit que toutes les versions restent accessibles au crawl
• Le contenu servi à Googlebot doit être identique à celui servi à un utilisateur sans préférences linguistiques

Cette déclaration est-elle cohérente avec les pratiques observées sur le terrain ?

Oui, et c'est justement un rappel brutal pour ceux qui persistent à croire que Google « comprend tout ». Sur des audits de sites multilingues, on observe régulièrement des cas où seule la version anglaise (ou la version par défaut serveur) apparaît dans l'index. Le reste ? Jamais crawlé, jamais indexé.

La confusion vient souvent d'une méconnaissance du fonctionnement HTTP. Beaucoup de frameworks (notamment ceux orientés « user experience ») détectent automatiquement accept-language et redirigent l'utilisateur. Pratique pour l'UX, catastrophique pour le SEO si aucune structure d'URLs distinctes n'existe en parallèle.

Quelles nuances faut-il apporter à cette consigne officielle ?

Mueller parle de « presque jamais ». Ce « presque » laisse une marge d'incertitude — Googlebot peut envoyer 'en' dans certains contextes. Concrètement ? Si votre site bascule du français vers l'anglais dès qu'il détecte 'en', vous perdez la version française même dans ce scénario minoritaire.

Autre nuance : cette règle s'applique au crawl initial et à l'indexation. Pour le rendu JavaScript ou certains tests spécifiques (Search Console, Mobile-Friendly Test), Google peut simuler des contextes différents, mais ce n'est pas le comportement standard de Googlebot dans son pipeline d'indexation classique. [À vérifier] : aucune donnée officielle sur la fréquence exacte de l'envoi du header 'en'.

Dans quels cas cette règle pourrait-elle poser problème malgré tout ?

Si vous utilisez un CDN ou un reverse proxy qui détecte accept-language en amont de votre serveur et sert des versions en cache différenciées, vous êtes exposé. Même si vous avez des URLs distinctes, si le CDN surcharge la détection linguistique, Googlebot peut se retrouver bloqué sur une seule variante.

Cas classique : Cloudflare Workers ou Lambda@Edge avec des règles de routing linguistique mal configurées. Le bot arrive sur /fr/, mais le worker détecte l'absence de header accept-language (ou la valeur 'en') et sert la version anglaise sur l'URL française. Résultat : duplicate content, indexation chaotique, perte de pertinence locale.

Que faut-il faire concrètement pour un site multilingue ?

Première étape : URLs distinctes par langue. Sous-domaines (fr.example.com), sous-répertoires (example.com/fr/), ou paramètres d'URL (example.com?lang=fr) — peu importe la structure, pourvu qu'elle soit stable et crawlable sans header HTTP particulier.

Deuxième étape : implémenter les balises hreflang correctement. Chaque page doit déclarer ses variantes linguistiques et régionales, en auto-référence incluse. Googlebot s'appuie sur ces balises pour comprendre les relations entre versions, indépendamment de tout header HTTP.

Quelles erreurs éviter absolument ?

Ne jamais servir du contenu différent sur la même URL selon accept-language. C'est le piège classique des frameworks « intelligent » qui détectent la langue du visiteur. Pour Googlebot, l'URL example.com/product doit toujours renvoyer exactement le même contenu, peu importe le header.

Évitez aussi les redirections 302 basées sur accept-language. Googlebot suivra la redirection, mais indexera la cible (souvent la version anglaise), laissant vos autres versions linguistiques orphelines. Si vous devez rediriger les utilisateurs, faites-le en JavaScript côté client, après le chargement initial du HTML — ainsi Googlebot voit toujours la version canonique.

Comment vérifier que mon site est conforme à cette logique ?

Testez vos URLs avec curl en supprimant explicitement le header accept-language : curl -H "Accept-Language:" https://example.com/fr/. Le contenu renvoyé doit être identique à celui visible dans un navigateur configuré en français.

Utilisez aussi Google Search Console, section Couverture, pour vérifier que toutes vos versions linguistiques apparaissent comme indexées. Si seule la version anglaise remonte, vous avez probablement un problème de détection serveur basée sur accept-language. Inspectez l'URL via l'outil de test d'URL — le HTML retourné doit correspondre à la langue attendue, sans dépendre d'un header que Googlebot n'envoie pas.

• Structurer le site avec des URLs distinctes par langue (sous-domaine, sous-répertoire ou paramètre)
• Implémenter les balises hreflang sur toutes les pages, avec auto-référence
• Ne jamais servir de contenu différent sur la même URL selon accept-language
• Proposer une bannière de sélection manuelle de la langue plutôt qu'une redirection automatique
• Tester le rendu serveur avec curl sans header accept-language pour valider la stabilité du contenu
• Vérifier dans Search Console que toutes les versions linguistiques sont crawlées et indexées