Pourquoi Google continue-t-il de crawler des URLs 404 obsolètes sur votre site ?

Google crawle-t-il vraiment des URLs mortes pendant des années ?

Oui, et c'est un comportement documenté et assumé par John Mueller. Les robots de Google revisitent sporadiquement des URLs qui ont retourné un 404, même si elles n'existent plus depuis longtemps.

La logique est simple : Google ne peut pas savoir si une page morte aujourd'hui ne reviendra pas demain. Une URL supprimée peut être restaurée, redirigée vers une nouvelle ressource, ou redevenir active suite à une refonte. Les systèmes de crawl intègrent donc une vérification périodique — disons une fois par trimestre, voire par an pour les URLs très anciennes — pour détecter tout changement de statut.

Ce comportement consomme-t-il du crawl budget inutilement ?

Pas vraiment, ou du moins pas de manière significative pour la majorité des sites. Google ajuste la fréquence de crawl des 404 en fonction de leur ancienneté et de la fréquence à laquelle le site crée de nouvelles URLs.

Un site de contenu éditorial ancien — mettons un média qui publie depuis 15 ans — accumule naturellement des milliers de 404 : pages supprimées, contenus déplacés, catégories abandonnées. Google continue de les pinger, mais à une fréquence réduite qui n'impacte pas le crawl des pages actives. Ce n'est pas un problème sauf si votre serveur est sous-dimensionné ou mal configuré.

Faut-il nettoyer activement les 404 dans la Search Console ?

Non, et c'est justement ce que Mueller précise : pas besoin de s'inquiéter ni de corriger ces erreurs. La Search Console affiche les 404 détectées, mais Google ne les considère pas comme des erreurs critiques.

Cela dit — nuance importante — si une URL en 404 reçoit encore des backlinks actifs ou du trafic referrer, alors c'est une opportunité manquée. Dans ce cas précis, une redirection 301 vers une page équivalente ou la page d'accueil a du sens. Mais pour une vieille URL sans trafic ni lien entrant, laisse tomber.

• Les crawls de 404 anciennes sont normaux et ne signalent pas un dysfonctionnement.
• Google ajuste la fréquence de vérification en fonction de l'ancienneté de l'URL et de l'historique du site.
• Pas besoin de nettoyer la Search Console : ces erreurs n'impactent pas le ranking des pages actives.
• Rediriger une 404 n'a de sens que si elle reçoit encore du trafic, des liens entrants ou des mentions externes.
• Les vieux sites accumulent naturellement plus de 404 — c'est inévitable et Google le sait.

Cette déclaration est-elle cohérente avec ce qu'on observe sur le terrain ?

Totalement. Les logs serveur confirment que Googlebot revisite des URLs mortes de manière sporadique, souvent sans pattern prévisible. On voit des 404 crawlées une fois tous les 3-6 mois, parfois avec des pics inexpliqués.

Mais il y a un détail que Mueller n'explicite pas : la fréquence de recrawl des 404 dépend aussi de la structure interne du site. Si une URL morte reste présente dans le sitemap XML ou liée depuis des pages actives, Google la crawlera plus souvent. Donc si tu vois des 404 crawlées chaque semaine, vérifie d'abord ton maillage interne et ton sitemap — c'est souvent là que ça coince.

Quand ce comportement devient-il problématique ?

Quand le volume de 404 crawlées dépasse la capacité de ton serveur ou quand cela cannibalise le crawl budget des pages actives. Sur un site avec plusieurs millions d'URLs indexées, un crawl budget mal réparti peut retarder la découverte de nouveaux contenus.

Concrètement ? Si ton serveur affiche des pics de charge à cause de requêtes Googlebot sur des 404, c'est un signal d'alarme. La solution n'est pas de supprimer les 404 — c'est d'optimiser la réponse serveur (cache, CDN, configuration Apache/Nginx) pour que ces requêtes ne pèsent rien. Un 404 bien configuré doit être servi en moins de 50 ms.

Google dit-il tout sur la fréquence de vérification ?

[A vérifier] Mueller reste vague sur les critères exacts qui déclenchent un recrawl de 404. Il parle de « vérifications périodiques », mais ne donne ni fréquence ni seuil.

D'après les observations terrain, plusieurs facteurs semblent jouer : l'ancienneté de l'URL, la présence de backlinks historiques (même s'ils ne pointent plus vers rien), la fréquence de mise à jour du site, et probablement un algorithme de « redécouverte » basé sur le comportement passé de l'URL. Mais c'est de l'inférence — Google ne communique pas l'algo exact, et c'est normal.

Que faut-il faire concrètement avec ces 404 crawlées ?

Rien, dans la majorité des cas. Si une URL est morte depuis des années, ne reçoit pas de trafic, n'a pas de backlinks actifs et ne figure pas dans ton sitemap, laisse-la tranquille. Google crawlera, verra le 404, et passera à autre chose.

Par contre — et c'est là que beaucoup se trompent — vérifie les 404 qui apparaissent régulièrement dans tes logs. Si une URL est crawlée chaque semaine, c'est qu'elle est encore référencée quelque part : sitemap, maillage interne, ou lien externe. Dans ce cas, agis : redirige ou supprime la référence interne.

Quelles erreurs éviter absolument ?

Ne redirige pas toutes tes 404 vers la page d'accueil en masse. C'est une pratique détestée par Google et cela peut être interprété comme du soft 404, surtout si la page de destination n'a aucun rapport thématique avec l'URL d'origine.

Autre erreur classique : bloquer les 404 dans le robots.txt. Ça ne sert à rien et ça empêche Google de constater que la page n'existe plus. Résultat : l'URL reste en mémoire indexable, et Google continuera de tenter de la crawler indéfiniment. Laisse Google voir le 404, c'est la seule manière propre de signaler la mort d'une page.

Comment vérifier que ton site gère correctement les 404 ?

Analyse tes logs serveur avec un outil comme Oncrawl, Screaming Frog Log Analyzer ou un script Python maison. Identifie les URLs 404 crawlées plus de 5 fois par mois — ce sont celles qui méritent ton attention.

Ensuite, croise ces URLs avec ton sitemap XML et ton maillage interne. Si une 404 est présente dans le sitemap, retire-la immédiatement. Si elle est liée depuis une page active, corrige le lien ou redirige vers une ressource équivalente. Enfin, vérifie la performance de ton serveur : un 404 doit être servi rapidement, sans requête base de données inutile.

• Auditer les logs serveur pour identifier les 404 crawlées de manière récurrente.
• Vérifier que les 404 ne figurent pas dans le sitemap XML.
• Corriger tout lien interne pointant vers une page 404.
• Optimiser la réponse serveur des 404 (cache, temps de réponse < 50 ms).
• Rediriger uniquement les 404 qui reçoivent encore du trafic ou des backlinks actifs.
• Ne jamais rediriger en masse toutes les 404 vers la page d'accueil.