Que s'est-il passé avec cet agrégateur de produits ?

Un site compilant des milliers de fiches produits automatisées a vécu un épisode brutal. Googlebot y a exploré 1, 17 million d'URLs en quelques semaines. Quatre pages indexées au total. Même la page d'accueil est restée hors index.

L'écart entre crawl et indexation dit quelque chose de simple : Google explore beaucoup, indexe peu dès qu'il repère du contenu produit en masse sans filtre qualitatif. Les courbes Search Console le montrent sans ambiguïté, avec un pic d'exploration vertical face à une courbe d'indexation désespérément plate, signature d'un rejet algorithmique massif.

Quels sont les deux problèmes techniques identifiés ?

Premier souci : plusieurs URLs théoriquement indexées redirigent directement vers l'accueil. Le symptôme trahit une désorganisation structurelle grave, sans doute des rewrites serveur mal configurés, ou des redirections en chaîne qu'on n'a jamais nettoyées.

Deuxième problème, le volume de pages produites automatiquement dépasse de loin ce que Google juge utile d'indexer. Mueller le dit cash : Google n'apprécie généralement pas les pratiques d'agrégation ni le SEO programmatique poussé à l'extrême. La position n'a rien de nouveau. Elle est rarement affirmée aussi frontalement.

Pourquoi Google rejette-t-il le SEO programmatique à cette échelle ?

Le moteur tolère les sites générés automatiquement s'ils apportent une valeur : comparateurs de prix alimentés en données fraîches, fiches enrichies d'avis vérifiés, contenus synthétiques utiles. Dupliquer 180 000 pages quasi-identiques pour couvrir la longue traîne, en revanche, passe pour du spam sophistiqué.

À l'œil nu, Google distingue mal l'agrégation utile de l'agrégation parasitaire. Ses algorithmes, eux, repèrent vite les patterns de contenu template : peu de texte original, structure répétitive, engagement utilisateur faible, aucun signal de qualité externe. Le crawl se poursuit donc pour surveiller, mais l'indexation se ferme.

• Crawl massif ne garantit jamais l'indexation : Googlebot peut explorer des millions d'URLs sans en garder une seule en index si la qualité n'y est pas.
• Les redirections cassées sont un signal d'alarme critique : elles signalent un site mal maintenu et poussent Google vers une désindexation prudente.
• Le volume de pages automatisées doit être justifié par une utilité réelle : chaque URL répond-elle à une intention de recherche distincte, avec un contenu qui la différencie ?
• L'agrégation n'est pas interdite mais scrutée de près : Google applique à ces sites des filtres qualité stricts et tolère peu d'erreurs techniques.

Cette déclaration est-elle cohérente avec les observations terrain ?

Absolument. Depuis des années, les sites d'agrégation produits se heurtent à des difficultés d'indexation croissantes, un phénomène accentué après le Helpful Content Update. Google a durci sa position sur le contenu généré en masse, même techniquement propre.

Le ratio surprend : 1, 17 million de crawls pour 4 indexations. Deux hypothèses. Soit le site cumule des erreurs techniques critiques que Mueller ne mentionne pas, temps de réponse catastrophiques, contenu dupliqué interne massif, canonicals circulaires. Soit Google a rangé le domaine entier en low-quality dès ses premières analyses. [A vérifier] : rien n'indique si des pénalités manuelles ou algorithmiques étaient actives.

Quelles nuances faut-il apporter sur le SEO programmatique ?

Tous les sites programmatiques ne subissent pas ce sort. Amazon, Leboncoin ou Booking génèrent automatiquement des millions de pages et restent parfaitement indexés. La différence ? Du contenu user-generated frais, des données structurées riches, des signaux d'engagement forts et une autorité de domaine élevée.

Un agrégateur survit s'il apporte de la valeur éditoriale ou fonctionnelle : analyses comparatives rédigées, filtres avancés pertinents, données exclusives comme les prix historiques ou la disponibilité en temps réel. Google n'est pas anti-programmatique, il est anti-inutile. Ce qui condamne le site analysé, ce n'est pas la génération automatique, c'est que l'algorithme ne perçoit aucune différenciation.

Dans quels cas cette règle ne s'applique-t-elle pas ?

Un site programmatique qui accumule backlinks éditoriaux naturels, mentions presse et partages sociaux organiques bénéficie d'une tolérance nettement plus grande. L'autorité de domaine pèse énormément. Un site établi peut se permettre du contenu template qu'un nouveau domaine se verrait refuser immédiatement.

Les sites ultra-spécialisés, avec une couverture exhaustive d'une niche, constituent la seconde exception. Un comparateur dédié aux seules pièces automobiles anciennes, fort de 50 000 références détaillées et de schémas techniques, peut s'en sortir là où un agrégateur généraliste mixant électroménager, mode et high-tech échouera.

Que faut-il auditer en priorité sur un site d'agrégation ?

Commence par le rapport crawl/indexation. Dans Search Console, un écart énorme (supérieur à 100:1) signale presque toujours une spirale de rejet algorithmique, et c'est le premier chiffre à poser sur la table avant toute autre vérification. Passe ensuite aux redirections : exporte l'intégralité des URLs indexées selon Google, teste-les une par une, isole celles qui renvoient vers l'accueil sans justification.

Vient la question de la similarité de tes templates. Tire 100 pages au hasard et mesure sur chacune le pourcentage de contenu unique, header, footer et sidebar exclus. Sous 30% de texte réellement différent, Google y voit probablement des duplicatas masqués. Des outils de text fingerprinting te permettront de repérer les blocs répétés à l'identique.

Comment réduire le volume de pages sans perdre le trafic existant ?

Repère les pages qui cumulent zéro clic organique sur 12 mois et aucun backlink. Supprime-les. Si elles servent la navigation interne, un noindex suffit. Les redirections doivent viser des pages parentes pertinentes, jamais l'accueil en masse.

L'effort éditorial, lui, se concentre sur les pages qui rankent déjà : contenu original, comparatifs rédigés à la main, tableaux de données exclusifs. Mieux vaut 5 000 pages très riches que 180 000 fiches squelettiques. Google indexera davantage dès lors que chaque page justifie son existence par une valeur perceptible.

Quelles erreurs éviter absolument avec du contenu programmatique ?

Aucune page ne doit être générée pour une combinaison dépourvue de volume de recherche réel. "Chaussures rouges taille 47 livraison Cantal" n'a probablement aucune demande mensuelle et dilue ton crawl budget pour rien. Filtre les combinaisons viables à partir des données keyword research.

Même logique pour les pages vides ou quasi-vides qu'on laisse en ligne en attendant du contenu futur. Google les crawle, constate qu'elles n'apportent rien, et dégrade la confiance globale du domaine. Produit indisponible ? Supprime la page ou propose des alternatives pertinentes, jamais un template vide avec un simple titre.

• Exporter toutes les URLs indexées via Search Console et vérifier qu'aucune ne redirige vers l'accueil de manière injustifiée
• Mesurer le taux de contenu unique réel (hors template) sur un échantillon de 100 pages générées automatiquement
• Identifier et supprimer/noindexer toutes les pages sans trafic organique ni backlinks sur 12 mois glissants
• Filtrer les combinaisons de paramètres sans volume de recherche documenté avant génération de nouvelles pages
• Enrichir manuellement les 20% de pages qui génèrent 80% du trafic avec du contenu éditorial original
• Auditer les temps de réponse serveur : un agrégateur lent aggrave massivement les problèmes d'indexation