Les DNS wildcard sabotent-ils vraiment le crawl de votre site ?

Pourquoi les DNS wildcard posent-ils problème à Googlebot ?

Une entrée DNS wildcard résout tous les sous-domaines possibles vers la même IP, même s'ils n'existent pas. Concrètement, si tu configures *.example.com, alors n'importe-quoi.example.com pointera vers ton serveur. Le hic ? Googlebot découvre ces sous-domaines par hasard — via des logs, des liens cassés, des tests automatisés — et tente de les crawler.

Chaque sous-domaine retourne le même contenu que ton domaine principal. Google se retrouve face à des centaines ou des milliers d'URLs dupliquées : random123.example.com/page, test.example.com/page, abc.example.com/page, toutes identiques. Le crawler perd du temps, ton crawl budget s'évapore, et l'indexation devient un capharnaüm.

Comment cette configuration se retrouve-t-elle en production ?

Plusieurs scénarios classiques : une infra de dev mal nettoyée avant la mise en prod, un serveur mal configuré par un hébergeur, ou une migration où le wildcard a été laissé par flemme ou ignorance. Les environnements de staging sont souvent coupables : le wildcard facilite les tests, mais personne ne pense à le désactiver.

Les CMS headless et les architectures JAMstack multiplient les risques. Certains outils de preview génèrent des sous-domaines à la volée. Si le DNS wildcard reste actif en prod et que Googlebot tombe sur un lien de preview, c'est parti pour l'orgie de duplication.

Quels signaux montrent qu'un wildcard te pourrit le crawl ?

Vérifie les logs serveur : tu repères des requêtes sur des sous-domaines que tu n'as jamais créés. Dans Search Console, l'onglet Couverture affiche une explosion d'URLs indexées, avec des sous-domaines loufoques. Le rapport de crawl montre des pics anormaux, Googlebot passe du temps sur des pages fantômes.

Autre indice : des erreurs 404 ou des duplications signalées dans la console pour des URLs que tu ne reconnais même pas. Si ton site a 500 pages réelles mais que Google en indexe 5000, tu as probablement un wildcard qui traîne.

• Un DNS wildcard résout tous les sous-domaines vers la même IP, créant des doublons crawlables infinis.
• Googlebot découvre ces sous-domaines par hasard (logs, liens cassés, environnements de test).
• Le crawl budget se dilue sur des URLs identiques, ralentissant l'indexation des pages réelles.
• Les signaux d'alerte : explosion d'URLs indexées dans Search Console, sous-domaines bizarres dans les logs.
• Les cas fréquents : infra dev mal nettoyée, serveurs mal configurés, architectures headless avec previews actifs.

Cette déclaration de Mueller est-elle cohérent avec les observations terrain ?

Oui, c'est du vécu. Les wildcards DNS sont une source récurrente de clusterfuck en SEO technique. J'ai vu des sites avec 30 000 URLs indexées alors qu'ils en avaient 800 légitimes. Le pire, c'est que Google ne te prévient pas explicitement : tu découvres le carnage en analysant les logs ou en cherchant site:example.com dans les SERPs.

Par contre, Mueller reste flou sur un point : combien de sous-domaines fantômes faut-il pour que Google ralentisse vraiment le crawl ? [A vérifier] On manque de seuil chiffré. Sur un gros site avec un crawl budget confortable, quelques dizaines de sous-domaines parasites passent inaperçus. Sur un petit site avec 10 pages crawlées par jour, c'est la cata immédiate.

Le retrait du wildcard suffit-il toujours à régler le problème ?

Non. Retirer l'entrée DNS ne purge pas l'index magiquement. Les sous-domaines déjà indexés restent en cache chez Google pendant des semaines, voire des mois. Tu dois compléter par un nettoyage manuel : tool de suppression dans Search Console, balises noindex sur les sous-domaines résiduels si ton serveur les sert encore, ou carrément des 410 Gone pour signaler leur disparition définitive.

Attention aussi aux redirections permanentes (301) qui traînent. Si tu rediriges automatiquement tous les sous-domaines vers le domaine principal après avoir retiré le wildcard, Googlebot va quand même suivre ces redirections et croire que les sous-domaines existent. Mieux vaut retourner un 404 ou un 410 net.

Existe-t-il des cas où un wildcard est légitime et ne pose pas problème ?

Oui, si tu gères du multi-tenant SaaS avec un sous-domaine par client (client1.saas.com, client2.saas.com). Dans ce cas, chaque sous-domaine sert du contenu unique, pas dupliqué. Google crawle chaque sous-domaine comme un site distinct, et ça fonctionne si l'arborescence est propre.

Le wildcard devient toxique uniquement quand il sert du contenu identique sur tous les sous-domaines. Si ton serveur renvoie exactement la même homepage sur random.example.com et test.example.com, c'est le drame. Si chaque sous-domaine a son propre contenu, le wildcard est juste un outil d'infrastructure neutre.

Comment vérifier si mon site souffre d'un wildcard DNS mal configuré ?

Première étape : interroge ton DNS. Utilise la commande dig random123456.tonsite.com ou nslookup. Si un sous-domaine aléatoire résout vers une IP, tu as un wildcard actif. Ensuite, visite ce sous-domaine dans un navigateur : si tu vois ton site apparaître normalement, c'est confirmé.

Deuxième étape : analyse tes logs serveur sur les 30 derniers jours. Filtre les requêtes de Googlebot et repère les sous-domaines. Tu devrais ne voir que www, éventuellement m. ou app. Si tu vois des trucs comme staging.tonsite.com, dev-2023.tonsite.com, ou des strings incompréhensibles, c'est le signal d'alarme.

Quelle procédure suivre pour nettoyer un wildcard en production ?

D'abord, retire l'entrée wildcard dans ta zone DNS. Remplace-la par des enregistrements A ou CNAME explicites uniquement pour les sous-domaines légitimes (www, blog, etc.). Attends quelques heures que la propagation DNS soit complète.

Ensuite, purge l'index Google. Dans Search Console, utilise l'outil de suppression d'URLs pour chaque préfixe de sous-domaine problématique. Si tu as 50 sous-domaines indexés, tu peux demander la suppression par lot via l'API. Configure aussi un 410 Gone sur ton serveur pour les sous-domaines qui n'existent plus : c'est plus définitif qu'un 404.

Quelles erreurs éviter lors du nettoyage d'un wildcard ?

Ne mets surtout pas de redirections 301 génériques depuis tous les sous-domaines vers le domaine principal. Ça semble logique, mais tu signales à Google que ces sous-domaines existent encore et qu'ils ont juste déménagé. Google continuera de les crawler. Un 404 ou un 410 vaut mieux.

Évite aussi de balancer des noindex sur les sous-domaines parasites si tu les sers encore. Googlebot va quand même les visiter, consommer du crawl budget, et mettre des semaines à désindexer. Mieux vaut ne rien servir du tout (DNS qui ne résout plus + 404 immédiat).

• Interroge ton DNS avec dig ou nslookup pour détecter un wildcard actif
• Analyse les logs serveur et Search Console pour repérer des sous-domaines parasites
• Retire l'entrée wildcard DNS et configure uniquement les sous-domaines légitimes
• Utilise l'outil de suppression d'URLs dans Search Console pour purger l'index
• Configure des réponses 410 Gone sur le serveur pour les sous-domaines disparus
• Évite les redirections 301 génériques qui maintiennent le crawl actif