Faut-il vraiment bloquer la navigation à facettes dans robots.txt ?

Qu'est-ce que la navigation à facettes et pourquoi pose-t-elle problème ?

La navigation à facettes génère des URL multiples pour filtrer des produits ou contenus selon divers critères — taille, couleur, prix, marque. Un site e-commerce avec 3 filtres ayant chacun 5 options peut facilement créer des centaines de combinaisons d'URL.

Ces pages dupliquent souvent le même contenu de base, diluent le crawl budget, et peuvent saturer l'index avec des variantes peu pertinentes. Google perd du temps à crawler des URL sans valeur ajoutée réelle.

Pourquoi Gary Illyes privilégie-t-il robots.txt ?

Le fichier robots.txt bloque directement Googlebot avant même qu'il ne charge les ressources. C'est radical : pas de crawl, pas de gaspillage de bande passante serveur, pas d'indexation accidentelle via des liens externes.

Illyes mentionne que le robots.txt de Google lui-même fournit des exemples de combinaisons de paramètres à bloquer. Autrement dit : si Google l'applique en interne, c'est qu'il considère cette approche robuste.

Quelles sont les limites de cette recommandation ?

Bloquer via robots.txt empêche tout crawl — y compris celui de pages facettes qui pourraient avoir une valeur SEO réelle (longue traîne, volume de recherche). Une fois bloquées, ces URL ne transmettent plus de PageRank interne.

D'autres méthodes existent : balises noindex, canonicals, paramètres URL via Search Console. Robots.txt reste binaire — c'est tout ou rien.

• robots.txt bloque le crawl avant toute récupération de contenu
• Évite le gaspillage de crawl budget sur des URL sans valeur
• Empêche aussi le crawl de pages facettes potentiellement utiles
• Alternative possible : noindex, canonical, gestion des paramètres URL
• Google applique cette méthode en interne sur ses propres propriétés

Cette déclaration est-elle cohérente avec les pratiques terrain observées ?

Oui et non. Sur des sites avec une navigation à facettes explosive (milliers de combinaisons), bloquer via robots.txt reste efficace pour stopper net le crawl parasite. C'est documenté, testé, ça fonctionne.

Mais beaucoup de sites e-commerce performants indexent sélectivement certaines facettes — celles qui ciblent des requêtes longue traîne à fort potentiel. Bloquer systématiquement par robots.txt prive de ce levier. [À vérifier] : la déclaration ne précise pas comment arbitrer entre facettes utiles et parasites.

Dans quels cas cette règle ne s'applique-t-elle pas ?

Si vos pages facettes génèrent du trafic organique mesurable, les bloquer serait contre-productif. Certaines combinaisons de filtres correspondent à des intentions de recherche spécifiques — "chaussures running femme noir taille 38" peut matcher une page facettée.

Dans ce cas, mieux vaut utiliser des canonicals vers la version neutre, ou un noindex stratégique sur les combinaisons aberrantes, tout en laissant crawler les facettes à valeur ajoutée. Robots.txt est trop brutal.

Quelle nuance apporter à cette recommandation ?

La formulation "méthode la plus raisonnable" est discutable. Raisonnable ne veut pas dire optimale. C'est la solution la plus simple et sécurisée quand on veut éviter tout risque — mais pas nécessairement la plus performante.

Un audit fin permet souvent d'identifier 10-20% de facettes indexables qui génèrent du trafic qualifié. Sacrifier ce potentiel pour simplifier la gestion, c'est un choix — mais pas une fatalité technique.

Que faut-il faire concrètement sur un site avec navigation à facettes ?

Commencez par auditer vos URL facettées : combien sont crawlées ? Lesquelles génèrent du trafic organique ? Lesquelles saturent inutilement les logs serveur ? Google Search Console et vos logs vous donneront ces données.

Si la majorité des facettes ne génère aucun trafic et pollue l'index, robots.txt est effectivement la solution la plus directe. Identifiez les patterns d'URL à bloquer — ex : Disallow: /*?color=, Disallow: /*?size=.

Quelles erreurs éviter absolument ?

Ne bloquez pas toutes les facettes par défaut sans analyse préalable. Certaines combinaisons peuvent être des portes d'entrée SEO stratégiques. Vérifiez d'abord dans Analytics et Search Console.

Évitez aussi de bloquer via robots.txt des URL déjà indexées sans désindexation préalable. Une URL bloquée mais toujours en index peut rester visible dans les SERP avec un snippet tronqué — mauvaise expérience utilisateur.

Comment vérifier que la configuration est correcte ?

Testez votre robots.txt avec l'outil de test de Google Search Console. Vérifiez que les URL facettées parasites sont bien bloquées, et que les pages stratégiques restent accessibles.

Surveillez l'évolution du crawl budget dans les logs serveur. Après mise en place, le nombre de hits Googlebot sur les facettes doit chuter. Si ce n'est pas le cas, la syntaxe robots.txt est probablement incorrecte.

• Auditer les URL facettées dans Search Console et les logs serveur
• Identifier les patterns d'URL à bloquer (paramètres, chemins récurrents)
• Ajouter les règles Disallow appropriées dans robots.txt
• Tester la configuration avec l'outil Search Console
• Surveiller l'impact sur le crawl budget pendant 2-4 semaines
• Prévoir un suivi Analytics pour détecter toute perte de trafic imprévue
• Envisager une approche hybride : robots.txt pour le bulk, noindex/canonical pour les cas limites