Le robots.txt bloque-t-il vraiment la transmission de PageRank et l'indexation ?

Pourquoi une URL bloquée par robots.txt peut-elle quand même s'indexer ?

Le fichier robots.txt interdit uniquement le crawl d'une URL, pas sa découverte. Quand un site externe pointe vers une page que vous avez bloquée, Google identifie cette URL mais ne peut pas accéder à son contenu. Résultat : la page peut apparaître dans les résultats de recherche avec une description minimale du type "Aucune information disponible pour cette page en raison du fichier robots.txt".

Cette situation pose problème quand on croit protéger une page de l'indexation via robots.txt. Le blocage n'empêche pas l'indexation, il empêche juste Google de lire le contenu. Si vous ne voulez vraiment pas qu'une page s'indexe, la directive noindex dans les balises meta ou headers HTTP reste la seule méthode fiable. Mais attention : pour que Google lise ce noindex, il doit pouvoir crawler la page, donc elle ne doit pas être bloquée par robots.txt.

Comment le PageRank circule-t-il vers une URL non crawlable ?

Le PageRank transite via les liens, que Google puisse ou non explorer la page de destination. Quand un site fait un lien vers votre URL bloquée, Google comptabilise ce lien dans son graphe de liens et transfère du jus SEO, même s'il ne peut pas accéder au contenu de la page cible.

Ce mécanisme explique pourquoi désavouer des liens pointant vers des pages bloquées par robots.txt ne change rien. Le désaveu de liens sert à neutraliser du jus toxique, mais si ces liens pointent vers des pages que vous avez volontairement exclues du crawl, Google les traite quand même dans ses calculs de popularité. La seule façon d'empêcher totalement la transmission de PageRank est de supprimer physiquement le lien ou d'obtenir un attribut nofollow/sponsored/ugc sur celui-ci.

Quelle est la différence entre blocage robots.txt et noindex ?

Le blocage robots.txt dit "ne crawle pas cette page", tandis que le noindex dit "ne l'affiche pas dans les résultats". Ces deux directives agissent à des moments différents du processus d'indexation et peuvent entrer en conflit si mal combinées.

Si vous bloquez une page par robots.txt ET ajoutez un noindex, Google ne pourra jamais lire la directive noindex puisqu'il n'accède pas à la page. Résultat : la page risque de s'indexer quand même si elle reçoit des liens externes. La bonne pratique consiste à autoriser le crawl temporairement pour que Google lise le noindex, puis surveiller la désindexation avant d'éventuellement bloquer par robots.txt.

• Robots.txt bloque le crawl, pas la découverte ni l'indexation minimale
• Le PageRank transite via les liens même vers des URLs non crawlables
• Noindex nécessite un crawl pour être lu et appliqué par Google
• Désavouer des liens vers des pages bloquées par robots.txt reste inefficace
• L'indexation minimale affiche "Aucune information disponible" dans les SERPs si des backlinks existent

Cette déclaration confirme-t-elle ce qu'on observe sur le terrain ?

Oui, totalement. Les SEO constatent depuis des années que des URLs bloquées par robots.txt apparaissent dans les résultats avec la mention "Aucune information disponible". Cette déclaration de Mueller officialise simplement un comportement déjà documenté. Ce qui surprend encore certains praticiens, c'est la persistance du flux de PageRank vers ces pages non crawlables.

Sur des migrations ou des refontes où des sections entières restent bloquées par erreur, on observe effectivement que ces pages continuent de capter du jus SEO sans pouvoir le redistribuer efficacement. Le crawl budget se concentre ailleurs, mais le graphe de liens interne de Google garde en mémoire ces URLs comme nœuds actifs. Concrètement, ça crée des impasses dans votre architecture de liens interne.

Quelles nuances faut-il apporter à cette affirmation ?

Mueller reste flou sur un point : à quel degré le PageRank transmis vers une page bloquée peut-il ensuite être redistribué ? Si Google ne crawle jamais la page, il ne voit jamais ses liens sortants, donc théoriquement ce jus devrait stagner. [A vérifier] : est-ce que Google modélise quand même une redistribution par défaut, ou le PageRank reste-t-il figé ?

Autre nuance : la durée pendant laquelle Google conserve en index une URL bloquée dépend de la fréquence des liens entrants. Une page avec des backlinks actifs persistera longtemps, tandis qu'une URL orpheline disparaîtra progressivement. Le robots.txt ne garantit donc pas une désindexation, juste une indexation dégradée si des signaux externes existent.

Dans quels cas cette règle ne s'applique-t-elle pas complètement ?

Si vous bloquez une URL par robots.txt ET qu'elle ne reçoit aucun lien externe ou interne découvrable autrement (sitemap, navigation), Google n'aura tout simplement aucun moyen de la détecter. Pas de découverte, pas d'indexation, même minimale. Le problème surgit uniquement quand des backlinks ou des mentions dans un sitemap XML révèlent l'existence de ces pages.

Autre cas limite : les pages bloquées par robots.txt mais présentes dans un sitemap XML génèrent des erreurs dans Search Console ("URL soumise bloquée par robots.txt"). Google tente l'indexation car vous signalez l'URL comme importante, mais le robots.txt le bloque. Résultat : confusion algorithmique et signaux contradictoires qui peuvent affecter le crawl budget global du site.

Que faut-il faire concrètement si on veut vraiment désindexer une page ?

D'abord, retirez cette page du robots.txt si elle y figure. Autorisez temporairement le crawl pour que Google puisse accéder au contenu. Ensuite, ajoutez une balise meta robots noindex dans le <head> ou renvoyez un header HTTP X-Robots-Tag: noindex. Vérifiez dans Search Console que Google crawle bien la page et détecte la directive.

Surveillez la désindexation via une recherche site:votredomaine.com/page-cible. Une fois la page disparue des résultats (ça peut prendre plusieurs semaines), vous pouvez éventuellement la rebloquer par robots.txt si vous voulez économiser du crawl budget, mais ce n'est plus indispensable. Le noindex suffit amplement pour maintenir la page hors index.

Quelles erreurs éviter absolument avec robots.txt et noindex ?

Ne jamais bloquer par robots.txt une page qui contient un noindex. C'est la configuration la plus fréquente qui mène à des indexations résiduelles. Google ne peut pas lire votre directive noindex si le robots.txt l'empêche d'accéder à la page. Résultat : la page reste indexée avec une description minimale si elle reçoit des backlinks.

Évitez aussi de bloquer par robots.txt des pages intermédiaires dans votre maillage interne stratégique. Ces pages servent de hubs pour distribuer du PageRank vers vos pages cibles. Si vous les bloquez, vous cassez des flux de jus SEO et créez des impasses algorithmiques. Auditez régulièrement votre robots.txt pour identifier ces blocages accidentels qui sabotent votre architecture.

Comment auditer son site pour détecter ces problèmes ?

Utilisez un crawler SEO (Screaming Frog, Oncrawl, Botify) configuré pour ignorer le robots.txt et comparez avec un crawl respectant les directives. Les URLs présentes uniquement dans le premier crawl sont bloquées mais potentiellement découvrables par Google via des backlinks. Croisez cette liste avec vos profils de liens (Ahrefs, Majestic, Semrush) pour identifier les pages bloquées qui reçoivent du jus externe.

Dans Search Console, consultez le rapport Couverture et filtrez les erreurs "URL soumise bloquée par robots.txt". Ces pages sont souvent dans votre sitemap XML mais interdites au crawl, signal contradictoire classique. Nettoyez votre sitemap pour ne plus soumettre ces URLs, ou retirez-les du robots.txt si elles doivent être indexées.

• Retirer du robots.txt toute page que vous voulez vraiment désindexer
• Ajouter un noindex sur ces pages et vérifier le crawl dans Search Console
• Ne jamais combiner blocage robots.txt et directive noindex
• Auditer régulièrement les pages bloquées qui reçoivent des backlinks
• Nettoyer les sitemaps XML des URLs bloquées par robots.txt
• Surveiller la désindexation via des recherches site: ciblées