Les requêtes JSON grèvent-elles vraiment votre crawl budget ?

Le crawl budget inclut-il réellement tous les types de fichiers ?

Oui, sans exception. Chaque requête passant par l'infrastructure Googlebot — qu'il s'agisse de pages HTML, CSS, JavaScript, images ou fichiers JSON — consomme une part du crawl budget alloué à votre site.

Cette déclaration balaye une idée reçue tenace : certains praticiens pensaient que les ressources non-HTML échappaient au décompte. C'est faux. Google comptabilise tout, y compris les appels API en JSON que vos pages chargent dynamiquement.

Pourquoi Mueller précise-t-il que le JSON ne limite pas forcément le crawl normal ?

Parce que le crawl budget n'est pas une enveloppe rigide appliquée de manière uniforme. Googlebot ajuste son comportement selon plusieurs critères : la popularité du site, la fraîcheur du contenu, la vélocité de publication, la santé serveur.

Un site qui génère beaucoup de requêtes JSON — typiquement via du JavaScript lourd ou des SPA mal optimisées — ne verra pas mécaniquement son contenu HTML pénalisé. Google alloue des budgets différenciés selon le type de ressource et leur criticité perçue pour l'indexation. Cela dit, tout gaspillage reste un risque sur des sites à faible autorité ou des infrastructures lentes.

Quels sites sont vraiment concernés par cette problématique ?

Les architectures modernes reposant sur du rendu côté client (React, Vue, Angular) génèrent des dizaines de requêtes JSON par page. Les marketplaces, comparateurs de prix, agrégateurs de contenu dynamique multiplient aussi ces appels pour charger filtres, facettes, listes de produits.

Si votre site sert moins de 10 000 pages et reste sur du HTML classique, cette déclaration vous concerne peu. Par contre, les plateformes à millions d'URLs ou les sites e-commerce volumineux doivent surveiller de près la répartition de leurs requêtes et leur impact serveur.

• Crawl budget : enveloppe de requêtes que Google accepte de consommer sur votre site dans un laps de temps donné
• Requêtes JSON : fichiers de données souvent appelés via JavaScript pour alimenter des composants dynamiques
• Priorisation Googlebot : mécanisme interne qui ajuste le crawl selon l'importance perçue des ressources
• SPA et CSR : architectures JavaScript lourdes multipliant les appels API et JSON pour construire les pages

Cette déclaration est-elle cohérente avec les observations terrain ?

Oui, dans les grandes lignes. Les audits de logs confirment que Googlebot crawle massivement les ressources JSON sur les sites JavaScript-heavy, parfois à hauteur de 30-40% du total des requêtes. Ces appels apparaissent clairement dans les logs serveur avec le user-agent Googlebot.

Ce qui manque ici, c'est la transparence sur le poids réel de ces requêtes dans la priorisation. Mueller dit que « beaucoup de requêtes JSON ne limitent pas forcément le crawl normal », mais il ne quantifie rien. [À vérifier] : à partir de quel seuil un volume excessif de JSON devient-il problématique ? Google ne donne aucun chiffre, aucun ratio HTML/JSON idéal.

Quelles nuances faut-il apporter à cette affirmation ?

Tous les crawl budgets ne se valent pas. Un site à forte autorité (liens entrants massifs, trafic élevé, contenu frais quotidien) bénéficie d'un budget généreux — il peut se permettre un overhead JSON conséquent sans impact visible. Un site de niche à faible PageRank interne verra chaque requête JSON grignoter une part précieuse.

Autre point : la latence serveur amplifie l'impact. Si vos endpoints JSON répondent en 800 ms pendant que votre HTML sert en 150 ms, Googlebot ralentira globalement son rythme pour protéger votre infrastructure. Le nombre brut de requêtes JSON compte moins que leur coût temporel cumulé.

Dans quels cas cette règle ne s'applique-t-elle pas vraiment ?

Si vos fichiers JSON sont bloqués via robots.txt ou meta noindex, Googlebot n'y touchera pas — donc pas de consommation de crawl budget sur ces ressources. Certains sites servent leurs JSON depuis des sous-domaines dédiés ou des CDN externes : dans ce cas, le budget est comptabilisé ailleurs, pas sur le domaine principal.

Attention aussi aux JSON générés à la volée par du code serveur lent : si chaque appel JSON déclenche des requêtes DB complexes, le vrai problème n'est plus le crawl budget mais la charge serveur et le risque de timeouts côté Googlebot.

Comment auditer la consommation de crawl budget liée aux JSON ?

Analysez vos logs serveur en isolant les requêtes Googlebot vers les endpoints .json ou /api/*. Mesurez leur proportion dans le volume total crawlé et comparez avec la fréquence de crawl de vos pages HTML stratégiques. Si le JSON représente plus de 40% du budget et que vos nouvelles pages mettent des semaines à être découvertes, il y a déséquilibre.

Utilisez la Search Console → Statistiques d'exploration pour observer les pics de requêtes et croiser avec vos logs. Vérifiez si les JSON sont crawlés à chaque visite ou mis en cache. Un JSON statique crawlé toutes les heures est du gaspillage pur.

Quelles erreurs éviter absolument ?

Ne générez pas de JSON inutiles pour du contenu déjà présent dans le HTML initial. Certains frameworks envoient à la fois le rendu serveur et un JSON redondant côté client — Googlebot crawle les deux, doublon absurde. Évitez aussi les JSON paginés infinis sans logique de pagination réelle : Googlebot peut se perdre dans des boucles d'appels.

Autre piège : laisser des endpoints JSON exposés sans contrôle d'accès. Si vos JSON sont crawlables mais ne servent qu'à des features privées (dashboards utilisateurs, paniers), bloquez-les proprement via robots.txt ou authentification, ne laissez pas Googlebot les explorer pour rien.

Que mettre en place concrètement pour optimiser ?

Implémentez du Server-Side Rendering (SSR) ou de la Static Generation pour réduire la dépendance aux JSON côté client. Moins de requêtes JSON = moins de crawl gaspillé. Si vous restez sur du CSR, utilisez des cache headers HTTP agressifs (Cache-Control, ETag) pour que Googlebot ne re-télécharge pas les JSON statiques à chaque visite.

Activez le crawl rate limit dans la Search Console si vous constatez une charge serveur excessive. Enfin, priorisez vos URLs critiques via un sitemap XML propre et des liens internes forts — Googlebot suivra ces signaux avant de se disperser sur des JSON secondaires.

• Analyser les logs serveur pour quantifier le poids des requêtes JSON dans le crawl total
• Identifier les JSON redondants ou inutiles et les bloquer via robots.txt si nécessaire
• Implémenter SSR/SSG pour réduire la dépendance au rendu client et aux appels API
• Configurer des cache headers HTTP stricts sur les JSON statiques ou peu évolutifs
• Surveiller la Search Console pour détecter les pics anormaux de requêtes JSON
• Optimiser la latence serveur sur les endpoints JSON pour réduire le temps de crawl global