Faut-il bloquer les URL paramétrées en robots.txt ou via les réglages Search Console ?

Quelle est la différence entre robots.txt et les paramètres URL dans Search Console ?

Le fichier robots.txt bloque physiquement l'accès de Googlebot à une URL. Quand vous inscrivez une directive Disallow, le crawler ne télécharge pas la page, ne lit pas son contenu, et ne peut donc pas suivre les liens qu'elle contient. C'est un verrou technique absolu.

Les réglages de paramètres URL dans Search Console, eux, ne bloquent rien du tout. Ils donnent des indications à Googlebot sur la manière de traiter certaines variations d'URL — par exemple, ignorer un paramètre de tri, ou considérer qu'un paramètre de session ne change pas le contenu. Le bot crawle quand même ces pages, il les indexe ou les consolide selon vos instructions.

Pourquoi cette distinction change-t-elle tout pour vos liens ?

Si vous bloquez une URL en robots.txt, Google ne voit jamais son contenu. Les liens sortants présents sur cette page — qu'ils pointent vers votre propre site ou vers l'extérieur — ne sont jamais découverts ni pris en compte. Vous coupez le flux de PageRank, vous brisez le maillage interne.

À l'inverse, une URL crawlée mais filtrée via les paramètres Search Console reste visible pour Googlebot. Les liens qu'elle contient sont découverts, suivis, et peuvent transmettre de la valeur. Vous évitez le duplicate content sans sacrifier la structure de vos liens.

Dans quels cas pratiques cette nuance compte-t-elle vraiment ?

Imaginons une boutique e-commerce avec des filtres de tri (?sort=price, ?sort=popularity) générant des centaines d'URL. Si vous bloquez ces variantes en robots.txt, vos fiches produits ne recevront jamais les liens internes depuis ces pages de tri. Vous perdez du crawl budget et du jus de lien.

Si vous utilisez les paramètres URL pour indiquer que sort ne change pas le contenu, Googlebot crawle toujours ces pages, suit les liens vers vos produits, mais ne les indexe pas comme des pages distinctes. Vous gagnez sur tous les tableaux : pas de duplication, mais maillage interne intact.

• Robots.txt bloque le crawl : aucun lien sur la page ne sera découvert ni suivi.
• Paramètres URL orientent le crawl : les liens restent actifs, mais Google consolide les versions.
• Impact direct sur le PageRank interne : bloquer en robots.txt coupe le flux, filtrer via Search Console le préserve.
• Cas d'usage critique : e-commerce, sites à facettes, URLs de session ou de tracking.
• Erreur fréquente : bloquer des pages de pagination ou de filtres en robots.txt, tuant ainsi le maillage vers les fiches produits.

Cette déclaration est-elle cohérente avec les observations terrain ?

Oui, et c'est même une des rares fois où Mueller tranche net. On observe effectivement que robots.txt coupe la transmission de PageRank — une page bloquée ne peut pas transmettre de jus de lien, même si elle reçoit des backlinks externes. Les tests montrent que des pages disallowed accumulent parfois des liens entrants, mais ne les redistribuent jamais.

Les paramètres URL, eux, sont souvent mal compris. Beaucoup de SEO pensent qu'ils bloquent le crawl. Faux. Googlebot continue de passer, il agrège juste les signaux. Les liens internes restent actifs, les pages contribuent au crawl budget — mais Google choisit quelle version canonique indexer.

Quelles nuances faut-il apporter à cette règle ?

Premier point : les paramètres URL dans Search Console sont dépréciés depuis plusieurs années. Google pousse désormais vers les canonicals et le JavaScript dynamique. Si vous comptez encore sur cet outil pour gérer vos variantes, vous êtes en retard d'une guerre. [A vérifier] : dans quelle mesure Google respecte-t-il encore ces réglages historiques vs. ses propres heuristiques ?

Deuxième nuance : bloquer en robots.txt ne signifie pas que l'URL disparaît de l'index. Si elle reçoit des backlinks externes, Google peut l'indexer sans jamais crawler son contenu — elle apparaîtra dans les SERP avec juste l'ancre des liens entrants, sans meta description. C'est une situation bancale, mais réelle.

Dans quels cas cette distinction ne change rien ?

Si vos URL paramétrées ne contiennent aucun lien utile — par exemple, des pages de confirmation de commande, des URL de session vides, ou des paramètres de tracking pur — alors bloquer en robots.txt ou filtrer via Search Console revient au même. Vous ne perdez rien en termes de maillage.

Mais soyons honnêtes : dans 90% des cas d'e-commerce ou de sites à facettes, ces pages contiennent des liens vers vos produits ou vos articles. Les bloquer en robots.txt, c'est se tirer une balle dans le pied. Préférez toujours une gestion via canonical ou via les paramètres URL (tant qu'ils fonctionnent encore).

Que faut-il faire concrètement si vous gérez des URL paramétrées ?

Première étape : cartographiez vos paramètres. Identifiez ceux qui génèrent du duplicate content (tri, pagination, filtres), ceux qui sont purement techniques (session ID, tracking), et ceux qui changent réellement le contenu (filtres de catégorie, recherche interne). Un audit via Screaming Frog ou Oncrawl vous donnera cette vue en une heure.

Deuxième étape : ne bloquez en robots.txt que les paramètres vraiment inutiles — ceux qui ne contiennent aucun lien vers des pages indexables, ou qui créent des boucles infinies (calendriers, combinaisons de filtres absurdes). Pour tout le reste, privilégiez les canonicals ou les hreflang si vous gérez du multilingue.

Quelles erreurs éviter absolument ?

Erreur classique : bloquer /produits?sort=* en robots.txt parce que "ça fait du duplicate". Résultat ? Vos fiches produits ne reçoivent plus les liens depuis ces pages de tri, votre crawl budget explose ailleurs, et votre ranking chute. J'ai vu des sites perdre 30% de trafic organique sur cette seule erreur.

Autre piège : compter sur les paramètres URL dans Search Console alors que Google les ignore de plus en plus. Si vous constatez que vos variantes continuent d'être indexées malgré vos réglages, passez aux canonicals dynamiques côté serveur. C'est plus fiable, et ça vous donne un contrôle total.

Comment vérifier que votre configuration est optimale ?

Lancez un crawl complet de votre site en suivant les liens internes. Repérez les URL paramétrées qui apparaissent. Vérifiez ensuite dans Search Console (Couverture > Exclues) si elles sont "Exclues par robots.txt" ou "Détectées, actuellement non indexées". La deuxième option signifie que Google les crawle mais ne les indexe pas — c'est exactement ce que vous voulez.

Contrôlez aussi vos logs serveur : si Googlebot visite régulièrement des URL bloquées en robots.txt, c'est qu'il tente de les crawler à cause de backlinks externes. Dans ce cas, envisagez de les débloquer et de poser un canonical vers la version principale pour récupérer le jus de lien.

• Cartographiez tous vos paramètres URL et leur impact sur le contenu
• Ne bloquez en robots.txt que les paramètres sans aucun lien utile
• Privilégiez les canonicals dynamiques pour gérer le duplicate content
• Vérifiez dans Search Console que vos variantes sont crawlées mais non indexées
• Analysez vos logs serveur pour repérer les URL bloquées qui reçoivent des backlinks
• Testez l'impact sur votre crawl budget après chaque modification de robots.txt