Le crawl budget existe-t-il vraiment ou est-ce juste un mythe SEO ?

Googlebot a-t-il vraiment une limite de pages crawlées par site ?

Oui, et c'est ce que Google appelle le crawl budget. Contrairement à une idée reçue, Googlebot ne crawle pas tout, tout le temps. Il alloue des ressources limitées à chaque site, en fonction de critères techniques et qualitatifs.

Cette limite n'est pas fixe : elle varie selon la santé technique du site (vitesse de réponse serveur, taux d'erreurs), la popularité des pages (liens internes/externes, engagement utilisateur) et la fraîcheur perçue du contenu. Un site lent ou bourré d'erreurs 404 verra son budget amputé, tandis qu'un site rapide et pertinent bénéficiera d'un crawl plus généreux.

Comment Google décide-t-il quelles pages méritent d'être crawlées ?

Le système de crawl scheduling mentionné par Gary Illyes est le chef d'orchestre. Il évalue deux priorités : recrawler les pages déjà connues pour détecter les mises à jour, et découvrir de nouvelles sections ou contenus.

Concrètement ? Google analyse les signaux de fraîcheur (fréquence de modification historique, nouveaux backlinks, sitemap XML avec lastmod récent) et les indices de popularité (trafic organique, mentions externes, profondeur dans l'arborescence). Une page produit best-seller mise à jour quotidiennement aura la priorité sur une vieille page catégorie orpheline qui n'a pas bougé depuis trois ans.

Est-ce que tous les sites sont concernés par cette limitation ?

Non, et c'est là que beaucoup de SEO perdent du temps. Les petits sites (moins de 5 000 pages indexables) ne sont quasiment jamais impactés par une limite de crawl budget. Google peut se permettre de tout crawler régulièrement sans effort.

Le problème devient réel pour les gros sites (e-commerce avec filtres à facettes, portails d'annonces, forums, sites d'actualités), surtout si une partie significative des URLs générées n'apporte aucune valeur (pagination infinie, filtres dupliqués, archives sans trafic). Là, optimiser le crawl budget devient une priorité stratégique pour s'assurer que Googlebot crawle en priorité vos pages à fort ROI.

• Le crawl budget n'est pas un quota fixe : il évolue selon les performances du site et les signaux de qualité.
• Google privilégie les pages populaires et fraîches : maillage interne, backlinks et mises à jour régulières boostent la fréquence de recrawl.
• Les petits sites peuvent ignorer ce concept : en dessous de 10 000 pages, le crawl budget est rarement un goulot d'étranglement.
• L'optimisation technique est clé : vitesse serveur, taux d'erreurs et qualité du code impactent directement le budget alloué.
• Le sitemap XML et robots.txt sont vos alliés : ils orientent Googlebot vers ce qui compte vraiment.

Cette définition reflète-t-elle vraiment ce qu'on observe sur le terrain ?

Globalement, oui. Les données des logs serveur confirment que Googlebot ajuste son comportement en fonction de la réactivité du site et de la valeur perçue des pages. Soyons honnêtes : les sites qui se plaignent de problèmes de crawl budget ont souvent des fondations techniques pourries — temps de réponse serveur à 2 secondes, 30% d'erreurs 5xx, des milliers de pages dupliquées ou de faible qualité.

Là où ça devient intéressant, c'est sur la notion de « doit crawler ». Google ne précise pas comment ce « doit » est calculé. Est-ce basé uniquement sur la fraîcheur historique ? Sur des signaux d'engagement utilisateur ? Sur l'importance estimée dans le graphe de liens ? [A vérifier] — Google reste volontairement flou sur la pondération exacte de ces critères.

Quelles nuances faut-il apporter à cette déclaration ?

Premier point : le crawl budget n'est pas synonyme d'indexation. Googlebot peut crawler une page sans jamais l'indexer si elle est jugée de faible qualité, dupliquée ou non pertinente. On voit régulièrement des sites avec 80% de leurs URLs crawlées mais seulement 30% indexées.

Deuxième nuance — et c'est là que ça coince pour beaucoup de sites e-commerce : les URLs à facettes (filtres, tri, pagination) consomment du crawl budget comme des URLs « normales ». Si vous générez 50 000 URLs de filtres pour 2 000 produits réels, vous gaspillez votre budget sur du contenu à faible valeur. Et Google ne vous fera pas de cadeau.

Dans quels cas cette approche montre-t-elle ses limites ?

Les sites d'actualité avec publication continue : Google a mis en place des mécanismes spécifiques (crawl accéléré pour les sitemaps News, priorisation des pages récentes) qui ne rentrent pas vraiment dans ce modèle standard de crawl scheduling. Idem pour les sites JavaScript lourds où Googlebot doit non seulement crawler mais aussi rendre et exécuter du JS — ce qui double la charge et réduit de facto le nombre de pages traitées.

Autre limite : les migrations de site. On observe régulièrement que Google continue de crawler massivement les anciennes URLs même après redirection 301, pendant des semaines voire des mois. Le système de scheduling devrait théoriquement comprendre rapidement que ces pages sont obsolètes, mais en pratique, ça prend du temps — parfois trop pour des sites avec des milliers de pages migrées.

Comment identifier si mon site souffre d'un problème de crawl budget ?

Première étape : analysez vos logs serveur sur 30 jours minimum. Combien d'URLs Googlebot visite-t-il par jour ? Compare ce chiffre au nombre total de pages indexables que tu veux pousser. Si Googlebot ne passe qu'une fois par mois sur tes pages stratégiques (produits phares, contenus éditoriaux récents), t'as un souci.

Deuxième indicateur : regarde le délai entre publication et indexation dans Search Console. Si tes nouvelles pages mettent plus de 7 jours à être découvertes alors qu'elles sont dans le sitemap et bien maillées, c'est un signal d'alerte. Un site en bonne santé voit ses pages prioritaires crawlées dans les 24-48h.

Quelles actions concrètes peuvent améliorer l'allocation de crawl budget ?

Nettoie impitoyablement les URLs inutiles. Bloque via robots.txt les filtres à facettes qui ne génèrent pas de trafic organique, les pages de pagination au-delà de la page 3, les archives datées, les pages de recherche interne. Chaque URL économisée libère du budget pour ce qui compte vraiment.

Améliore la vitesse de réponse serveur. Un TTFB (Time To First Byte) sous 200 ms permet à Googlebot de crawler 2-3 fois plus de pages dans le même laps de temps. Optimise ton hébergement, active la compression GZIP/Brotli, mets en cache agressivement ce qui peut l'être. Et surveille les erreurs 5xx — chaque erreur serveur fait baisser ton budget alloué.

Quelles erreurs éviter absolument dans la gestion du crawl budget ?

Ne bloque pas Googlebot sur des ressources critiques (CSS, JS essentiels au rendu) sous prétexte d'économiser du crawl. Google a besoin de ces fichiers pour comprendre ta page — les bloquer est contre-productif et peut nuire à ton indexation.

Autre erreur classique : générer des sitemaps XML obèses avec 50 000 URLs dont 80% sont des variations sans valeur. Ton sitemap doit être chirurgical : seulement les pages à forte valeur stratégique, avec des balises lastmod honnêtes (pas « aujourd'hui » sur toutes les URLs). Un sitemap gonflé dilue les signaux et rend le scheduling moins efficace.

• Auditer les logs serveur mensuellement pour traquer les URLs crawlées inutilement
• Bloquer via robots.txt les sections à faible valeur (filtres, pagination profonde, archives)
• Optimiser le TTFB serveur en dessous de 200 ms
• Nettoyer régulièrement les erreurs 404 et 5xx dans Search Console
• Produire des sitemaps XML segmentés par priorité (produits phares, contenu éditorial, reste)
• Renforcer le maillage interne vers les pages stratégiques pour booster leur fréquence de recrawl