Faut-il vraiment bloquer les fichiers JSON dans votre robots.txt ?

Pourquoi bloquer des JSON pose-t-il un problème d'indexation ?

Google fonctionne en deux temps : crawl initial puis rendering JavaScript. Quand Googlebot récupère votre HTML brut, il lance ensuite un processus de rendu pour exécuter le JS et charger les ressources dynamiques.

Si vos fichiers JSON sont bloqués dans robots.txt, le bot peut télécharger votre HTML mais ne peut pas récupérer les données nécessaires au rendu final. Résultat : il indexe une page vide ou incomplète, même si visuellement tout fonctionne côté utilisateur.

Comment cette règle impacte-t-elle les sites utilisant des frameworks modernes ?

Les applications React, Vue ou Angular chargent souvent leur contenu via des appels API JSON. Si vous bloquez /api/*.json par exemple, Google ne verra jamais le contenu généré après hydratation.

C'est particulièrement critique pour les sites e-commerce où les fiches produits, prix et disponibilités sont chargés dynamiquement. Sans accès aux JSON, Google indexe des pages produits sans description ni prix — autant dire invisibles dans les résultats.

Les sites tiers utilisant vos APIs sont-ils également concernés ?

Oui, et c'est moins intuitif. Si vous proposez une API publique consommée par d'autres sites, bloquer vos endpoints JSON empêche l'indexation du contenu affiché sur ces sites tiers.

Imaginons un agrégateur d'avis utilisant votre API : si vous bloquez /reviews.json, le contenu agrégé ne sera pas indexable par Google, même si ce n'est pas votre propre site. Vous pénalisez indirectement vos partenaires.

• Le blocking via robots.txt s'applique à tous les crawlers respectant ce fichier, pas uniquement Googlebot
• Les JSON bloqués ne sont pas rendus, donc le contenu qui en dépend reste invisible pour l'index
• Cette règle concerne autant votre site que les sites tiers consommant vos APIs publiques
• Alternative recommandée : ne bloquer que les JSON contenant des données sensibles, jamais ceux servant à afficher du contenu public

Cette déclaration reflète-t-elle vraiment le comportement observé sur le terrain ?

Oui, totalement. Les audits techniques montrent régulièrement des sites avec robots.txt mal configurés bloquant /wp-json/, /api/, ou /*.json par précaution excessive.

Le problème, c'est que beaucoup de développeurs pensent « protéger » leurs données en bloquant ces endpoints, sans réaliser qu'ils sabotent leur propre indexation. J'ai vu des boutiques Shopify perdre 40% de trafic organique après avoir bloqué leurs JSON de collection par erreur.

Existe-t-il des cas où bloquer des JSON reste légitime ?

Bien sûr. Si vos JSON contiennent des données sensibles (infos utilisateurs, tarifs B2B, stocks internes), il faut les bloquer — mais alors, ne vous en servez pas pour afficher du contenu public indexable.

La distinction est simple : JSON servant au rendering côté client du contenu visible = ne pas bloquer. JSON purement backend ou admin = libre à vous. [A vérifier] : Google n'a jamais précisé si des mécanismes d'authentification (tokens, headers) suffisent à contourner ce problème sans bloquer dans robots.txt.

Quelle est la marge d'erreur acceptable dans cette configuration ?

Aucune. Contrairement à d'autres signaux SEO où vous pouvez compenser (backlinks faibles mais contenu excellent), bloquer un JSON critique revient à rendre votre page invisible. C'est binaire.

Testez toujours vos modifications de robots.txt avec Search Console > Inspection d'URL > Tester l'URL en direct. Si le rendu affiché est vide alors que votre page fonctionne normalement, vous avez bloqué une ressource essentielle.

Comment auditer rapidement vos règles robots.txt actuelles ?

Téléchargez votre robots.txt et recherchez toutes les lignes contenant .json, /api/, /data/ ou /content/. Pour chaque règle Disallow trouvée, demandez-vous : « Ce fichier sert-il à afficher du contenu visible pour les utilisateurs ? »

Utilisez ensuite l'outil Tester le fichier robots.txt dans Search Console. Collez une URL de JSON que vous soupçonnez bloquée et vérifiez si Googlebot peut y accéder. Si c'est bloqué alors que ce JSON charge vos fiches produits, vous tenez votre coupable.

Que faire si vous découvrez des JSON bloqués critiques pour l'indexation ?

Supprimez immédiatement la règle Disallow correspondante dans robots.txt. Ensuite, forcez une réindexation rapide via Search Console en demandant l'inspection des pages concernées.

Surveillez vos logs serveur les jours suivants : vous devriez voir Googlebot crawler les JSON précédemment bloqués. Si ce n'est pas le cas sous 72h, c'est que la règle n'était peut-être pas la seule cause (vérifiez aussi les headers HTTP, X-Robots-Tag, etc.).

Quelle stratégie adopter pour sécuriser vos APIs sans bloquer l'indexation ?

Pour les données publiques (fiches produits, articles, avis), laissez les JSON accessibles sans restriction. Pour les données sensibles, utilisez plutôt une authentification par token ou servez ces JSON depuis un sous-domaine non public.

Vous pouvez aussi implémenter du server-side rendering (SSR) ou de la génération statique (SSG) pour que le contenu critique soit présent dans le HTML initial, sans dépendre du rendering JavaScript. Moins élégant techniquement, mais beaucoup plus robuste côté SEO.

• Auditer robots.txt pour identifier toutes les règles bloquant .json ou /api/
• Tester chaque URL JSON bloquée avec l'outil robots.txt de Search Console
• Supprimer les règles Disallow affectant des JSON servant au contenu visible
• Vérifier le rendu réel avec « Tester l'URL en direct » après modification
• Monitorer les logs Googlebot pour confirmer le crawl des JSON débloqués
• Envisager SSR/SSG pour réduire la dépendance au rendering JavaScript