Pourquoi Google met-il 3 à 6 mois à rafraîchir les grands sites ?

Qu'est-ce que Google entend par "grand site" ?

Google ne donne aucun chiffre précis — frustrant, comme d'habitude. Un grand site pourrait désigner aussi bien un e-commerce de 50 000 produits qu'un portail média de 500 000 articles. Ce qui compte, c'est le volume de pages indexables et la fréquence de mise à jour.

Dans la pratique, dès que votre site dépasse quelques milliers de pages actives, vous entrez dans cette catégorie. Le crawl devient alors un exercice d'équilibrage : Googlebot ne peut pas tout recrawler en permanence, il doit prioriser. C'est là que le concept de budget de crawl prend tout son sens.

Pourquoi cet arbitrage entre nouveau contenu et rafraîchissement ?

Googlebot dispose d'une capacité de crawl limitée par site, déterminée par la santé technique du serveur et l'autorité du domaine. Chaque visite coûte des ressources — bande passante, calcul, stockage. Google doit donc choisir : explorer de nouvelles URLs ou revisiter celles déjà connues pour détecter les changements.

Sans signal explicite, le bot adopte une stratégie conservatrice. Il privilégie les pages qui changent souvent (actualités, fiches produits en stock) et ralentit sur les contenus statiques. Résultat : une page mise à jour sans notification peut attendre plusieurs mois avant que le bot ne passe à nouveau. Et pendant ce temps, votre contenu optimisé reste invisible des algorithmes de classement.

Comment les sitemaps influencent-ils ce rafraîchissement ?

Le sitemap XML agit comme un signal de priorité. En indiquant la balise <lastmod> avec une date récente, vous signalez à Google qu'une page a changé. Mais attention : Google ne crawle pas aveuglément tout sitemap. Il vérifie la cohérence historique — si vous marquez toutes vos pages comme modifiées chaque jour alors qu'elles ne bougent pas, le signal perd sa valeur.

Les sitemaps dynamiques, générés automatiquement avec des dates de modification réelles, sont les plus efficaces. Ils permettent de raccourcir drastiquement le délai de rafraîchissement pour les pages stratégiques. C'est la différence entre attendre 4 mois et obtenir un recrawl en 48 heures.

• Budget de crawl : ressource limitée que Google alloue à chaque site selon sa taille, sa vitesse et son autorité
• Fenêtre de 3-6 mois : délai moyen de rafraîchissement complet sans signaux — variable selon la fréquence de mise à jour historique du site
• Sitemaps stratégiques : balise <lastmod> fiable = signal de priorité pour accélérer le recrawl
• Arbitrage algorithmique : Googlebot priorise les pages à forte valeur ajoutée (trafic, liens, fraîcheur attendue)
• Signaux complémentaires : IndexNow, Search Console, liens internes frais peuvent réduire l'attente

Cette déclaration est-elle cohérente avec ce qu'on observe sur le terrain ?

Oui et non. Sur des sites de 100 000+ pages, on constate effectivement que certaines URLs ne sont recrawlées que tous les 4-5 mois si elles sont enfouies dans l'arborescence. Mais affirmer un délai fixe de 3 à 6 mois est trompeur : tout dépend de la fraîcheur attendue de la page. Une fiche produit active avec des variations de stock sera visitée plusieurs fois par jour. Une page "À propos" statique peut attendre 8 mois.

Ce qui manque ici, c'est la granularité. Google ne dit rien sur les critères qui déterminent la fréquence de recrawl : le PageRank interne, les liens externes récents, l'engagement utilisateur, la saisonnalité du contenu. [À vérifier] : dans quelle mesure les signaux comportementaux (CTR, dwell time) influencent-ils la priorisation du crawl ? Google ne le dira jamais explicitement, mais les tests montrent une corrélation.

Quelles sont les limites pratiques de cette recommandation sur les sitemaps ?

Le sitemap est utile, mais ce n'est pas une baguette magique. Si votre site souffre de problèmes structurels — temps de réponse serveur >500ms, profondeur de clic excessive, pages orphelines — un sitemap ne compensera pas. Googlebot peut lire le fichier, voir les <lastmod>, et quand même décider de ne pas crawler immédiatement si le site est perçu comme techniquement fragile.

Autre point rarement mentionné : Google ignore les balises <priority> et <changefreq> depuis des années. Seule la date de modification compte vraiment. Et encore, Google compare cette date à ses propres logs : si vous marquez une page comme modifiée alors qu'elle est identique bit à bit à la version précédente, vous perdez en crédibilité.

Dans quels cas ce délai de 3-6 mois ne s'applique-t-il pas ?

Les sites à forte autorité (médias nationaux, sites institutionnels) bénéficient d'un budget de crawl bien supérieur. Certains voient leurs pages stratégiques recrawlées toutes les heures. À l'inverse, un site pénalisé ou très lent peut voir son budget réduit à néant — même avec un sitemap parfait.

Les pages liées depuis la homepage ou des hubs internes puissants sont recrawlées bien plus souvent que la moyenne. Si vous restructurez votre maillage interne pour remonter une page stratégique à 1-2 clics de l'accueil, vous pouvez diviser le délai de rafraîchissement par 10. C'est une technique sous-utilisée.

Comment accélérer le rafraîchissement des pages stratégiques ?

La première action concrète : générer un sitemap dynamique qui reflète réellement les dates de modification. Oubliez les plugins WordPress qui marquent toutes les pages comme modifiées à chaque visite. Utilisez un script qui compare les contenus (hash MD5) et ne met à jour <lastmod> que si le contenu a vraiment changé.

Ensuite, exploitez IndexNow pour les mises à jour critiques. Ce protocole (supporté par Bing, Yandex, et indirectement Google via des partenariats) notifie instantanément les moteurs qu'une URL a changé. Résultat : recrawl en quelques heures au lieu de plusieurs semaines. C'est particulièrement efficace pour les sites e-commerce qui mettent à jour prix et stocks en temps réel.

Quelles erreurs éviter pour ne pas gaspiller son budget de crawl ?

Ne laissez pas Googlebot se perdre dans des facettes infinies (filtres de catalogues produits mal gérés) ou des sessions utilisateurs avec paramètres URL. Chaque crawl gaspillé sur une URL inutile est une page stratégique qui ne sera pas visitée. Utilisez robots.txt et la balise noindex avec discernement.

Autre piège classique : les redirections en chaîne. Si Googlebot doit suivre 3 redirections 301 pour atteindre une page finale, il consomme son budget trois fois plus vite. Nettoyez impitoyablement. Et surveillez les temps de réponse serveur : au-delà de 300ms, Google réduit automatiquement la vitesse de crawl pour ne pas surcharger votre infrastructure.

Comment vérifier que mon site est correctement rafraîchi ?

Dans Google Search Console, section "Paramètres > Statistiques de l'exploration", vérifiez le graphique du nombre de pages crawlées par jour. Si ce nombre stagne ou chute sans raison apparente, vous avez un problème. Comparez avec le volume de pages que vous publiez ou mettez à jour chaque semaine.

Utilisez aussi l'outil Inspection d'URL pour forcer un recrawl ponctuel. Mais attention : abuser de cette fonctionnalité (plus de 10-20 demandes par jour) peut être contre-productif. Google détecte les patterns et peut ignorer les demandes s'il estime qu'elles sont automatisées ou sans réelle valeur ajoutée.

• Sitemap dynamique : générer avec dates de modification réelles, vérifier cohérence historique
• IndexNow : implémenter pour les mises à jour critiques (prix, stocks, actualités)
• Maillage interne : remonter les pages stratégiques à 1-2 clics de la homepage
• Nettoyage technique : éliminer redirections en chaîne, facettes infinies, paramètres inutiles
• Monitoring GSC : suivre volume de crawl, temps de réponse serveur, erreurs 5xx/4xx
• Audit régulier : identifier les pages à fort potentiel qui ne sont plus crawlées depuis >60 jours