Bloquer un dossier via robots.txt tue-t-il le transfert de PageRank vers vos pages stratégiques ?

Pourquoi bloquer un dossier coupe-t-il le flux de PageRank entrant ?

Quand vous ajoutez une directive Disallow dans votre robots.txt pour bloquer un répertoire complet, Google ne peut plus accéder au contenu de ces pages. Le bot s'arrête à la porte.

Le problème, c'est que Google ne connaît pas les redirections internes ni les liens sortants de ces pages bloquées. Si un backlink externe pointe vers /blog-archive/article-123, et que vous bloquez /blog-archive/, Google voit le lien entrant mais ne peut pas suivre la redirection 301 que vous avez peut-être mise en place vers /blog/article-123.

Comment Google gère-t-il les backlinks vers des URLs bloquées ?

Google considère ces backlinks comme des signaux orphelins : il sait qu'ils existent, mais il ne peut pas les exploiter pour renforcer l'autorité de vos pages actives. Le PageRank théorique reste bloqué à l'entrée.

Contrairement à une page en 404 ou 410 que Googlebot peut crawler et dont il peut identifier les redirections, une URL bloquée par robots.txt reste une boîte noire. Aucune découverte de contenu, aucune transmission de jus.

Quelle différence avec une page indexée mais vide ou supprimée ?

Si vous laissez une page accessible mais vide (ou en 404), Google peut au moins crawler la page, détecter une éventuelle redirection 301, et suivre le chemin vers la nouvelle URL cible. Le transfert de PageRank s'opère alors normalement.

Avec robots.txt, vous coupez court à toute exploration. Google ne voit jamais le code HTTP de réponse, ni les en-têtes de redirection. C'est comme refuser l'accès à un entrepôt : les camions de livraison (backlinks) arrivent, mais personne ne sait où décharger la marchandise.

• Bloquer avec robots.txt = Google ne crawle pas, ne voit pas les redirections, ne transfère pas le PageRank des backlinks entrants
• 404/410 crawlable = Google crawle, détecte la disparition, peut suivre une éventuelle redirection 301 et transférer l'autorité
• Redirection 301 directe = Google suit la redirection, transfère le PageRank vers la nouvelle URL cible sans perte majeure
• Ne jamais bloquer un dossier qui reçoit des backlinks de qualité sans avoir d'abord vérifié qu'aucune redirection ne doit être crawlée
• Utiliser robots.txt uniquement pour protéger des contenus sensibles, du duplicate interne ou du crawl budget inutile — jamais pour gérer des migrations ou des restructurations d'URLs

Cette déclaration est-elle cohérente avec les observations terrain ?

Oui, et c'est une confirmation officielle de ce que beaucoup de SEO pratiquent déjà depuis des années. Bloquer un répertoire complet avec robots.txt pour « nettoyer » un site est une erreur classique chez les débutants ou les audits SEO bâclés.

J'ai vu des sites perdre 30 à 40 % de leur trafic organique après avoir bloqué /blog/ ou /ressources/ parce qu'un développeur voulait « cacher le contenu obsolète ». Les backlinks étaient toujours là, mais Google ne pouvait plus les exploiter. [A vérifier] : Google ne publie pas de données chiffrées sur le pourcentage de PageRank perdu dans ce scénario, mais l'impact est mesurable en pratique.

Quelles nuances faut-il apporter à cette règle ?

Le transfert indirect dont parle Mueller concerne les liens internes depuis des pages bloquées vers des pages actives. Si vous bloquez /ancien-site/ qui contenait des liens vers /nouveau-site/, Google ne voit jamais ces liens internes et ne peut pas distribuer le PageRank en conséquence.

Mais attention : bloquer robots.txt n'empêche pas toujours l'indexation. Google peut indexer une URL bloquée si elle reçoit des backlinks, même sans crawler le contenu — vous verrez alors une snippet vide dans les SERPs. C'est contre-productif : l'URL pollue l'index sans apporter de valeur, et le PageRank reste coincé.

Dans quels cas robots.txt reste-t-il pertinent pour bloquer un dossier ?

Bloquer avec robots.txt garde du sens pour protéger des contenus techniques : /wp-admin/, /cgi-bin/, /scripts/, /tmp/. Ces dossiers ne reçoivent (normalement) aucun backlink externe et ne doivent pas apparaître dans l'index.

Également utile pour économiser du crawl budget sur des pages de pagination infinie, des filtres de facettes redondants ou des URLs paramétrées générées automatiquement. Mais dans ces cas, vérifiez toujours qu'aucun backlink ne pointe vers ces chemins avant de bloquer.

Que faut-il faire si vous avez déjà bloqué un dossier qui reçoit des backlinks ?

Retirez immédiatement la directive Disallow du fichier robots.txt pour ce répertoire. Google pourra alors crawler les pages, découvrir vos redirections 301, et transférer le PageRank vers les nouvelles URLs cibles.

Vérifiez dans Google Search Console (section Couverture ou Pages indexées) si des URLs bloquées apparaissent avec le statut « Bloqué par robots.txt ». Si c'est le cas, débloquez et soumettez une nouvelle validation pour accélérer le re-crawl.

Comment auditer votre robots.txt pour identifier les blocages à risque ?

Exportez votre profil de backlinks depuis Ahrefs, Majestic ou SEMrush. Croisez ces URLs avec les chemins bloqués dans votre robots.txt. Tout overlap est un red flag.

Utilisez un script Python ou un tableur pour repérer les patterns : si /ressources/ est bloqué mais reçoit 150 backlinks de domaines référents, vous perdez probablement du PageRank. Même logique pour les anciennes URLs de blog, les landing pages archivées ou les campagnes passées.

Quelle stratégie adopter pour restructurer un site sans perdre de jus SEO ?

Ne bloquez jamais un dossier avant d'avoir mis en place des redirections 301 propres et vérifié qu'elles fonctionnent. Laissez Google crawler ces redirections pendant au moins 3 à 6 mois pour qu'il transfère le PageRank.

Si vous devez absolument retirer du contenu de l'index, utilisez la balise noindex plutôt que robots.txt : Google pourra crawler, voir la directive, et désindexer proprement sans bloquer le flux de liens. Une fois désindexées, vous pourrez éventuellement bloquer si le crawl budget est un enjeu.

• Auditer robots.txt et croiser avec le profil de backlinks pour repérer les blocages problématiques
• Retirer toute directive Disallow sur des dossiers qui reçoivent des liens externes de qualité
• Implémenter des redirections 301 permanentes avant toute restructuration d'URLs ou migration
• Laisser les anciennes URLs accessibles et crawlables pendant 6 mois minimum après migration
• Utiliser noindex plutôt que robots.txt pour retirer du contenu de l'index sans couper le transfert de PageRank
• Monitorer Google Search Console pour détecter les URLs bloquées qui apparaissent quand même dans l'index