Pourquoi robots.txt bloque-t-il aussi les directives noindex et canonical ?

Mueller clarifie ici un malentendu fréquent : beaucoup de SEO croient qu'un blocage robots.txt suffit pour désindexer une page. C'est faux.

Le fichier robots.txt contrôle le crawl, pas l'indexation. Quand Google respecte un Disallow, il ne visite pas l'URL et ne peut donc lire aucune directive présente dans le HTML.

Que se passe-t-il concrètement quand une URL est bloquée par robots.txt ?

Google arrête le crawl à la lecture du robots.txt. Il n'envoie jamais de requête HTTP vers cette URL.

Résultat : impossible de découvrir une balise noindex, un canonical, un redirect 301, ou les liens sortants de cette page. Le contenu textuel reste invisible. Les signaux on-page n'existent tout simplement pas pour le moteur.

Pourquoi cette confusion persiste-t-elle chez les praticiens ?

Parce qu'historiquement, Google pouvait indexer des URL bloquées en robots.txt si elles recevaient des backlinks. L'URL apparaissait dans les SERP avec un snippet générique "Aucune information disponible".

Cette pratique a semé le doute : certains pensaient que bloquer par robots.txt empêchait l'indexation. D'autres comprenaient qu'une URL bloquée pouvait quand même être indexée. Les deux affirmations sont partiellement vraies, ce qui crée une ambiguïté permanente.

Quelle est la différence pratique entre crawl et indexation ?

Le crawl est la visite technique d'une URL. L'indexation est la décision de stocker cette URL dans l'index et de la montrer dans les résultats.

Une URL peut être crawlée sans être indexée (noindex respecté). Elle peut être indexée sans être crawlée (si elle reçoit des liens et n'est pas bloquée). Mais si elle est bloquée en robots.txt, Google ne peut jamais la crawler, donc il ne voit jamais les directives internes qui pourraient affiner l'indexation.

• Robots.txt bloque le crawl : Google ne visite pas l'URL et ne voit pas son contenu HTML
• Noindex contrôle l'indexation : Google crawle l'URL, lit la balise, et décide de ne pas l'indexer
• Un blocage robots.txt empêche la lecture de toute directive : noindex, canonical, hreflang, meta robots, redirects serveur
• Les liens internes de la page bloquée restent invisibles : le PageRank ne circule pas, le maillage interne est rompu
• Les backlinks externes restent visibles : Google peut indexer l'URL bloquée si elle reçoit des liens, mais sans snippet ni titre correct

Cette déclaration est-elle cohérente avec les observations terrain ?

Oui, parfaitement. J'ai observé des centaines de cas où des pages bloquées en robots.txt restaient indexées malgré une balise noindex présente dans le HTML.

Le SEO bloque l'URL, ajoute noindex, attend la désindexation... qui ne vient jamais. Google affiche l'URL dans les SERP avec un snippet vide. Le noindex n'a jamais été lu parce que le crawl a été interdit en amont. C'est l'erreur classique en migration ou en gestion de staging.

Quelles nuances faut-il apporter à cette règle ?

Mueller dit "Google ne les analyse pas". C'est vrai pour le contenu HTML, mais Google analyse quand même l'existence de l'URL via les backlinks et le sitemap XML.

Si une URL bloquée en robots.txt est présente dans le sitemap ou reçoit des liens externes, Google peut choisir de l'indexer avec un snippet générique. Le blocage robots.txt n'est donc pas une garantie de non-indexation. C'est une protection contre le crawl, rien de plus.

Autre nuance : certains bots tiers (non-Google) ignorent robots.txt. Le fichier robots.txt est une directive, pas un firewall. Un site sensible ne doit jamais compter uniquement sur robots.txt pour protéger du contenu confidentiel.

Dans quels cas cette règle devient-elle un problème critique ?

Migrations, refonte, gestion de duplicate content. Un SEO qui bloque les anciennes URL en robots.txt pensant forcer la désindexation crée un cauchemar.

Les anciennes pages restent indexées indéfiniment, les canonical vers les nouvelles URL ne sont jamais lus, le PageRank reste bloqué. La migration échoue parce que Google ne peut pas suivre les directives qu'on lui donne.

Autre cas problématique : les sites avec facettes filtrées bloquées en robots.txt. Si ces URL reçoivent des backlinks, elles s'indexent avec un snippet vide. Le site perd du contrôle sur la présentation de ses pages dans les SERP. [A vérifier] : certains SEO rapportent que Google peut ignorer un blocage robots.txt si l'URL est jugée stratégique, mais Google n'a jamais confirmé cette pratique officiellement.

Que faut-il faire concrètement pour désindexer une URL ?

Retirer le blocage robots.txt si présent. Vérifier que Googlebot peut accéder à l'URL sans restriction.

Ajouter une balise meta robots noindex dans le <head> ou renvoyer un en-tête HTTP X-Robots-Tag: noindex. Soumettre l'URL en Search Console pour accélérer le recrawl. Attendre que Google visite la page, lise le noindex, et retire l'URL de l'index. Cette opération peut prendre plusieurs jours à plusieurs semaines selon la fréquence de crawl.

Quelles erreurs éviter absolument ?

Ne jamais bloquer en robots.txt une URL qu'on veut désindexer. C'est contre-productif : Google ne pourra jamais lire le noindex.

Ne jamais combiner robots.txt Disallow et noindex sur la même URL. C'est redondant et crée une incohérence : on demande à Google de ne pas crawler, mais on lui donne quand même une directive qu'il ne peut pas lire. Choisir l'un ou l'autre, jamais les deux.

Éviter de bloquer en robots.txt des sections entières sans vérifier les backlinks. Si ces URL reçoivent des liens externes, elles peuvent s'indexer avec un snippet vide et nuire à l'expérience utilisateur. Auditer les backlinks avant tout blocage massif.

Comment vérifier que mon site est conforme à cette logique ?

Extraire toutes les URL bloquées en robots.txt. Croiser avec les URL indexées via site: ou Search Console. Repérer les URL bloquées mais indexées : c'est le signe d'un problème.

Vérifier si ces URL ont une balise noindex. Si oui, retirer le blocage robots.txt pour que Google puisse la lire. Si non, décider : soit on veut l'indexer (retirer le blocage), soit on veut la désindexer (retirer le blocage, ajouter noindex). Il n'y a jamais de bonne raison de maintenir une URL bloquée en robots.txt ET indexée.

• Auditer robots.txt : lister toutes les règles Disallow et User-agent
• Extraire les URL indexées : utiliser Search Console ou un crawl Screaming Frog avec données GSC
• Identifier les conflits : URL bloquées en robots.txt mais présentes dans l'index
• Vérifier les backlinks : utiliser Ahrefs, Majestic ou Search Console pour détecter les liens vers URL bloquées
• Corriger les incohérences : retirer le blocage robots.txt, ajouter noindex si besoin, ou laisser indexer proprement
• Monitorer le recrawl : suivre l'évolution en Search Console pour valider que Google a bien lu les nouvelles directives