Pourquoi une page en noindex continue-t-elle d'apparaître dans l'index Google ?

Comment le robots.txt peut-il empêcher le noindex de fonctionner ?

Le mécanisme est contre-intuitif mais logique. Lorsqu'une URL est bloquée dans le robots.txt, Googlebot ne peut pas crawler la page pour lire son contenu HTML. La directive meta robots noindex se trouve dans le code source de la page, inaccessible si le crawl est interdit.

Google indexe alors l'URL par d'autres signaux : des backlinks externes, des mentions dans le sitemap XML, ou des liens internes détectés ailleurs sur le site. L'URL apparaît dans les résultats avec la mention typique "Aucune information disponible pour cette page" car Google connaît son existence sans avoir pu la crawler.

Le blocage robots.txt prime-t-il toujours sur le noindex ?

Oui, et c'est une règle de priorité stricte dans l'architecture de crawl. Le fichier robots.txt est consulté avant toute tentative de récupération de la page. Si l'accès est refusé, le processus s'arrête là.

La directive noindex, qu'elle soit en meta tag HTML ou en en-tête HTTP X-Robots-Tag, ne peut être lue que si le crawler accède effectivement au contenu. Cette hiérarchie technique explique pourquoi certaines pages persistent dans l'index malgré un noindex bien implémenté côté page.

Dans quels cas observe-t-on ce problème en pratique ?

Le scénario classique : un site bloque des paramètres URL ou des répertoires entiers via robots.txt pour économiser le crawl budget, puis ajoute un noindex sur ces mêmes pages pour nettoyer l'index. Les deux directives entrent en conflit.

Autre cas fréquent : la migration d'un site qui conserve d'anciens blocages robots.txt tandis que le nouveau template ajoute systématiquement des balises noindex sur certaines sections. Les pages restent visibles dans Google car le robots.txt hérité empêche la lecture des nouvelles directives.

• Disallow robots.txt bloque le crawl avant lecture du HTML
• Le noindex nécessite un crawl pour être détecté et appliqué
• Google peut indexer une URL sans crawler si elle reçoit des signaux externes
• La désindexation effective prend plusieurs semaines après suppression du blocage robots.txt
• Les pages bloquées apparaissent avec un snippet vide caractéristique

Cette déclaration est-elle cohérente avec les observations terrain ?

Absolument, et c'est l'un des pièges techniques les plus documentés en SEO. Les logs serveur confirment systématiquement que Googlebot ne tente même pas de crawler les URLs bloquées en robots.txt, rendant impossible la détection du noindex.

La recommandation de Google de "retirer temporairement le blocage" est néanmoins délicate à appliquer. Elle suppose qu'on peut se permettre un pic de crawl sur des centaines ou milliers d'URLs précédemment bloquées, ce qui peut saturer un serveur peu robuste. [A vérifier] : Google ne précise pas la durée nécessaire de ce déblocage ni le délai avant désindexation effective.

Quelles nuances faut-il apporter à cette directive ?

La déclaration reste silencieuse sur un point crucial : que faire des URLs qu'on veut bloquer ET désindexer rapidement ? La séquence recommandée (débloquer robots.txt, attendre le crawl noindex, rebloquer) prend plusieurs semaines minimum selon la fréquence de crawl du site.

Pour les sites avec un crawl budget limité, cette approche peut détourner des ressources de crawl des pages importantes. Google ne propose pas d'alternative pour accélérer le processus, comme un signal via Search Console qui forcerait un recrawl prioritaire des pages concernées.

Dans quels cas cette règle ne s'applique-t-elle pas complètement ?

Les en-têtes HTTP X-Robots-Tag noindex peuvent parfois être détectés lors d'une requête HEAD, sans téléchargement complet du HTML. Certains SEO rapportent des désindexations réussies même avec robots.txt actif, mais c'est incohérent et non documenté officiellement.

Les URLs jamais indexées (nouvelles pages) avec noindex ET blocage robots.txt ne rencontrent pas ce problème, puisque Google n'a aucun signal externe pour les découvrir. Le conflit ne concerne que les pages déjà présentes dans l'index qu'on tente de nettoyer.

Que faut-il faire concrètement pour désindexer ces pages ?

Première étape : identifier les URLs indexées malgré le noindex via une requête site:exemple.com combinée à l'inspection d'URLs dans Search Console. Compare avec ton fichier robots.txt pour repérer les conflits entre directives Disallow et pages indexées.

Retire ensuite le blocage robots.txt pour les URLs ciblées uniquement, pas nécessairement tout le fichier. Utilise la granularité des directives Disallow pour limiter l'impact. Demande un recrawl via Search Console pour accélérer la détection du noindex, même si Google ne garantit pas de traitement immédiat.

Quelles erreurs éviter dans cette manipulation ?

Ne rebloquez jamais le robots.txt avant que Google ait crawlé et pris en compte le noindex. Vérifie dans Search Console que le statut passe bien à "Exclue par la balise noindex" avant de réactiver un éventuel blocage.

Évite de cumuler noindex et blocage robots.txt par principe, sauf si tu souhaites explicitement bloquer le crawl d'une ressource sans te soucier de son indexation. Pour désindexer proprement, le noindex suffit et permet à Google de crawler la directive. Le robots.txt sert à économiser du crawl budget, pas à contrôler l'indexation.

Comment vérifier que le problème est résolu ?

Utilise le rapport de couverture dans Search Console pour suivre l'évolution des pages marquées "Exclue par la balise noindex". Les URLs doivent disparaître de l'index dans les 2-4 semaines suivant le crawl du noindex, selon la fréquence de visite de Googlebot.

Lance régulièrement des requêtes site:exemple.com/chemin-problematique pour confirmer la désindexation effective. Les logs serveur doivent montrer des visites Googlebot sur les URLs précédemment bloquées, preuve que le crawl a repris et que la directive peut être lue.

• Auditer le robots.txt pour identifier les Disallow conflictuels avec des pages indexées
• Retirer temporairement les blocages robots.txt sur les URLs à désindexer
• Vérifier que le noindex est bien présent en meta tag ou X-Robots-Tag HTTP
• Demander un recrawl via l'outil Inspection d'URL de Search Console
• Surveiller les logs serveur pour confirmer le passage de Googlebot
• Attendre 2-4 semaines et contrôler la désindexation effective via requête site: