Pourquoi Google crawle-t-il encore vos anciennes URLs supprimées ?

Google crawle-t-il vraiment des pages mortes pendant des années ?

Oui, et c'est parfaitement documenté. Googlebot revisite périodiquement des URLs qui retournent un code 404, même après suppression définitive du contenu. La raison ? Ces URLs ont laissé une empreinte dans l'index : backlinks externes, mentions historiques, signaux d'autorité accumulés.

Le moteur conserve une trace de ces URLs et vérifie occasionnellement si elles sont revenues en ligne. Ce n'est pas un bug, c'est un mécanisme délibéré pour détecter une éventuelle restauration de contenu. Concrètement, si vous supprimez une page à forte autorité puis la republiez six mois plus tard, Google doit pouvoir la redécouvrir.

Ce crawl de vieilles URLs consomme-t-il mon crawl budget ?

Non. Mueller est formel : ce crawl s'effectue à basse priorité. Les ressources allouées au crawl de vos pages actives ne sont pas détournées vers ces URLs mortes. Google distingue clairement le crawl prioritaire (nouvelles pages, mises à jour, contenus importants) du crawl opportuniste (vérifications sporadiques, URLs historiques).

Dans vos logs serveur, ces requêtes apparaissent effectivement, mais elles ne justifient aucune action corrective urgente. Si votre site génère suffisamment de contenu frais, le crawl budget total reste majoritairement alloué aux pages vivantes.

Faut-il bloquer ces URLs en robots.txt pour nettoyer les logs ?

Mauvaise idée. Bloquer une URL 404 en robots.txt empêche Google de constater que la page n'existe plus. Résultat : l'URL reste indéfiniment dans l'index avec un statut incertain, au lieu d'être proprement désindexée.

Laisser le 404 se produire permet au moteur de confirmer la disparition définitive du contenu et, à terme, de retirer l'URL de l'index. Bloquer le crawl prolonge artificiellement la présence fantôme de ces pages. Contre-productif.

• Google crawle les 404 historiques pendant des années si elles avaient des backlinks ou de l'importance
• Ce comportement est normal et intentionnel, pas un dysfonctionnement
• Le crawl s'effectue à basse priorité et ne pénalise pas le budget alloué aux pages actives
• Bloquer ces URLs en robots.txt empêche leur désindexation propre
• Les logs serveur reflètent ce trafic, mais il ne requiert aucune action corrective

Cette déclaration est-elle cohérente avec les pratiques observées sur le terrain ?

Absolument. Les analystes de logs serveur constatent depuis longtemps que Googlebot revisite des URLs supprimées des années auparavant. Ce qui surprend souvent, c'est la durée de cette persistance : certaines URLs 404 continuent de recevoir des requêtes cinq, six, voire dix ans après leur disparition.

La variable clé ? Le profil de backlinks. Une URL avec 50 liens externes de qualité sera crawlée bien plus longtemps qu'une page sans aucun lien entrant. Google applique visiblement une logique de coût/bénéfice : tant qu'il existe une probabilité non nulle que la page réapparaisse, le crawl occasionnel reste justifié.

Quelles nuances faut-il apporter à cette affirmation ?

Mueller parle de crawl à basse priorité, mais ne quantifie pas. Quelle proportion du crawl budget total ? Combien de requêtes exactement ? [À vérifier]. Sans chiffres, difficile d'évaluer l'impact réel sur les très gros sites (millions de pages) avec un historique massif d'URLs supprimées.

Autre point flou : la définition d'une URL « importante ». Google mentionne les backlinks, mais qu'en est-il du trafic historique ? D'une position moyenne élevée avant suppression ? D'un PageRank interne fort ? On manque de précision sur les critères exacts qui déclenchent ce crawl prolongé.

Dans quels cas ce comportement peut-il poser problème malgré tout ?

Sur des infrastructures techniques fragiles, même un crawl « basse priorité » peut causer des frictions. Si votre serveur génère des logs volumineux, des milliers de requêtes 404 quotidiennes alourdissent inutilement le parsing et l'analyse. Pas un impact SEO direct, mais un coût opérationnel réel.

Autre scénario : les migrations de site mal gérées. Si vous avez déplacé 10 000 URLs sans redirections 301 puis laissé les anciennes en 404, Google continuera de les crawler pendant des années. Résultat : un signal de qualité dégradé, même si le contenu existe ailleurs. Dans ce cas précis, des redirections permanentes restent indispensables, malgré la déclaration de Mueller.

Que faire concrètement avec ces informations ?

D'abord, ne paniquez pas en voyant des URLs 404 dans vos logs serveur. Si ces pages étaient importantes historiquement, c'est normal qu'elles soient revisitées. Concentrez-vous sur le crawl des pages actives : tant que vos nouveaux contenus sont découverts rapidement, tout va bien.

Ensuite, vérifiez que vos codes HTTP sont corrects. Un 404 doit être un vrai 404, pas un soft 404 (page « introuvable » servie en 200). Google doit pouvoir constater formellement la disparition du contenu pour ajuster son comportement de crawl à long terme.

Quelles erreurs éviter absolument ?

Ne bloquez jamais en robots.txt les URLs que vous voulez désindexer. Cette pratique courante est contre-productive : elle fige l'URL dans un état indéterminé et retarde sa sortie définitive de l'index. Laissez le 404 s'exprimer librement.

Évitez aussi de transformer massivement vos 404 en redirections 301 génériques vers la homepage. Certains le font pour « nettoyer » les logs, mais ça crée un signal chaotique : des centaines d'URLs disparates redirigent vers un contenu sans rapport. Google détecte ce pattern et peut le considérer comme du soft 404 déguisé.

Comment optimiser la gestion de vos URLs supprimées ?

Si vous supprimez une page avec des backlinks, posez-vous la question : existe-t-il un contenu équivalent sur le site ? Si oui, redirigez en 301 vers cette page. Si non, assumez le 404 et laissez Google constater la disparition naturellement.

Pour les migrations ou refonte, planifiez une cartographie exhaustive des redirections. Chaque URL historique doit pointer vers son équivalent le plus pertinent, pas vers une destination fourre-tout. Oui, c'est fastidieux sur des gros sites, mais c'est ce qui préserve votre autorité accumulée.

• Analysez vos logs serveur pour identifier les URLs 404 les plus crawlées (backlinks forts = crawl persistant)
• Vérifiez que vos 404 retournent un vrai code 404, pas un soft 404 en code 200
• Ne bloquez jamais ces URLs en robots.txt — laissez le 404 s'exprimer
• Lors d'une migration, créez des redirections 301 précises vers les contenus équivalents, pas vers la homepage
• Surveillez la proportion du crawl budget consommée par les 404 : si elle dépasse 10-15%, auditez vos redirections
• Pour les pages supprimées sans équivalent, assumez le 404 et ne créez pas de redirections artificielles