Pourquoi Google met-il des mois à recrawler certaines pages de votre site ?

Qu'est-ce qui explique ces délais de recrawl variables ?

Google attribue un crawl budget limité à chaque site, proportionnel à sa taille, son autorité et sa fréquence de mise à jour. Sur un site volumineux, Googlebot doit faire des choix : quelles pages méritent une exploration fréquente, lesquelles peuvent attendre.

Les pages stratégiques (homepage, catégories principales, contenus frais avec du trafic) sont recrawlées toutes les heures ou tous les jours. Les pages profondes, stables ou peu visitées peuvent rester dans les limbes pendant des semaines, voire des trimestres entiers.

Le sitemap est-il vraiment efficace pour accélérer les recrawls ?

Mueller recommande de soumettre un sitemap ciblé pour inciter Google à repasser sur certaines URL. Concrètement, cela signifie créer des sitemaps thématiques ou temporaires avec uniquement les pages modifiées récemment, plutôt qu'un fichier global qui liste 50 000 URL stables.

Cette approche fonctionne mieux sur les sites de presse ou e-commerce, où les mises à jour sont fréquentes et signalent à Google qu'une visite s'impose. Sur un site corporate peu modifié, l'effet reste marginal.

Comment Google décide-t-il quelles pages explorer en priorité ?

Personne ne connaît l'algorithme exact, mais plusieurs signaux documentés jouent un rôle : fréquence de modification, trafic organique entrant, profondeur dans l'arborescence, qualité des backlinks internes et externes, temps de chargement.

Un contenu qui attire du trafic direct ou des clics depuis la SERP sera recrawlé plus souvent. Une page orpheline, lente, sans liens internes ni backlinks, peut être ignorée pendant des mois même si elle figure dans le sitemap.

• Crawl budget limité : Google ne peut pas explorer toutes les pages d'un gros site en continu.
• Priorité aux pages vivantes : celles qui changent souvent ou génèrent du trafic sont recrawlées rapidement.
• Sitemaps ciblés : concentrer les URL récentes ou modifiées dans un sitemap dédié peut accélérer leur traitement.
• Signaux de fraîcheur : modification du contenu, ajout de liens, clics depuis la SERP influencent la fréquence de passage.
• Pages profondes oubliées : une URL à 5 clics de la home, sans lien externe, peut attendre plusieurs mois avant un nouveau crawl.

Cette déclaration est-elle cohérente avec les observations terrain ?

Oui, largement. Les logs serveurs montrent des disparités massives dans les fréquences de crawl : certaines catégories e-commerce sont visitées toutes les heures, tandis que des fiches produits désactivées ou des archives blog restent ignorées pendant trois mois.

La recommandation sur les sitemaps est connue depuis longtemps, mais Mueller ne donne aucun chiffre ni garantie. C'est une suggestion molle, pas une promesse d'accélération. [A vérifier] : aucune donnée publique ne prouve que soumettre un sitemap raccourcit significativement le délai de recrawl sur un site qui gère déjà bien son maillage interne.

Quelles nuances faut-il apporter à ce conseil ?

Le sitemap n'est pas une baguette magique. Si votre page est lente, orpheline ou considérée comme du contenu faible, le sitemap ne changera rien. Google peut lire votre fichier XML et décider sciemment de ne pas explorer les URL listées.

Par ailleurs, multiplier les sitemaps thématiques peut complexifier la maintenance : si vous avez 15 sitemaps différents et que vous oubliez d'en mettre un à jour, vous créez du bruit. Mieux vaut un sitemap global propre avec des balises <lastmod> fiables qu'une usine à gaz fragmentée.

Dans quels cas cette règle ne s'applique-t-elle pas ?

Sur les petits sites (moins de 500 pages), Google explore généralement tout le site en quelques jours. La question du crawl budget ne se pose pas vraiment, sauf si le site est techniquement catastrophique (redirections en chaîne, erreurs 5xx, temps de réponse > 2 secondes).

Les sites avec une architecture plate et un maillage interne solide réduisent aussi le problème : si toutes vos pages importantes sont à 2 clics de la home et reçoivent du PageRank interne, Google les crawle naturellement plus souvent, sitemap ou pas.

Que faut-il faire concrètement pour optimiser le recrawl ?

Commence par nettoyer ton sitemap. Supprime toutes les URL en 3xx, 4xx, 5xx, canonicalisées vers une autre page, ou bloquées par le robots.txt. Un sitemap propre ne contient que des URL 200 indexables et utiles.

Ensuite, active les balises <lastmod> dans ton sitemap et assure-toi qu'elles reflètent la réalité. Si tu modifies une page produit, la date doit être mise à jour automatiquement. Google utilise ce signal pour prioriser ses visites.

Quelles erreurs éviter sur les gros sites ?

Ne crée pas un sitemap géant de 100 000 URL dont 80 % n'ont pas bougé depuis deux ans. Google va le parcourir, constater qu'il n'y a rien de neuf, et espacer ses visites. Segmente par thématique ou par fréquence de mise à jour.

Évite aussi de soumettre des sitemaps redondants : si tu as un sitemap global ET des sitemaps par catégorie qui listent les mêmes URL, tu crées de la confusion. Google peut crawler deux fois les mêmes pages et ignorer d'autres zones du site.

Comment vérifier que mon site est bien crawlé ?

Utilise la Search Console : section « Statistiques d'exploration » pour voir le nombre de pages crawlées par jour et identifier les pics ou chutes anormales. Compare avec tes logs serveurs pour détecter les zones délaissées.

Si des pages stratégiques ne sont pas recrawlées depuis des semaines, vérifie leur profondeur dans l'arborescence, leur temps de chargement, et le nombre de liens internes qui pointent vers elles. Souvent, le problème n'est pas le sitemap mais l'architecture ou la technique.

• Nettoyer le sitemap : supprimer URL 3xx, 4xx, 5xx, canonicalisées ou bloquées
• Activer les balises <lastmod> et les maintenir à jour automatiquement
• Segmenter les sitemaps par fréquence de mise à jour ou thématique
• Vérifier les stats d'exploration dans Search Console chaque semaine
• Analyser les logs serveurs pour identifier les pages délaissées par Googlebot
• Améliorer le maillage interne vers les pages stratégiques peu crawlées