Pourquoi Google n'indexe-t-il pas toutes les URLs de votre sitemap ?

Google indexe-t-il automatiquement ce qu'on lui soumet ?

Non, et c'est une confusion tenace chez beaucoup de clients. Le sitemap n'est pas un ordre, c'est une suggestion. Google découvre des URLs via le sitemap, mais décide seul si elles méritent d'entrer dans l'index.

Concrètement, le robot crawle ce que vous déclarez, analyse le contenu, puis applique ses filtres de qualité et de duplication. Si une page ressemble trop à une autre déjà indexée, ou si Google estime qu'elle n'apporte rien à l'utilisateur, elle reste en statut "Discovered – currently not indexed" dans la Search Console.

Qu'est-ce qui bloque l'indexation d'une URL pourtant soumise ?

Deux facteurs principaux : la duplication (réelle ou perçue par l'algo) et la valeur estimée de la page. La duplication, ce n'est pas seulement du copier-coller : deux fiches produits avec des descriptions quasi identiques, ou des pages filtrées qui ne changent qu'un paramètre cosmétique, ça suffit.

La valeur perçue, c'est plus subjectif. Google regarde le contenu, les signaux utilisateurs s'il en a, la profondeur dans l'arborescence, la cohérence thématique. Une page orpheline, sans liens internes, avec 50 mots de texte générique, même dans le sitemap, elle ne passera jamais la barre.

Pourquoi Google communique-t-il sur ce point maintenant ?

Parce que trop de sites croient encore qu'un sitemap XML est un hack magique pour tout indexer. Des e-commerces poussent 500 000 URLs dans un sitemap, dont 80 % de pages filtrées sans valeur, et s'étonnent ensuite du taux d'indexation catastrophique.

Google veut recadrer les attentes : le sitemap aide à la découverte, surtout pour les pages profondes, mais il ne remplace pas une architecture solide et un contenu différencié. C'est un outil de crawl, pas un bouton "indexer tout".

• Le sitemap est une suggestion de crawl, pas un ordre d'indexation.
• Duplication et faible valeur perçue sont les deux freins principaux à l'indexation.
• Un sitemap gonflé de pages faibles dilue le signal et nuit au crawl budget.
• La Search Console distingue "Discovered" et "Indexed" : surveille ce delta.
• L'architecture et les liens internes restent plus décisifs que la présence dans le sitemap.

Cette déclaration correspond-elle aux observations terrain ?

Oui, et c'est même un euphémisme. Sur les gros sites, on voit régulièrement 30 à 60 % des URLs du sitemap qui restent en "Discovered – currently not indexed". Les causes ? Toujours les mêmes : duplication technique (facettes, filtres, paginations mal gérées), contenu thin, ou pages enterrées à six clics de la home sans aucun lien interne.

Google ne dit pas explicitement comment il mesure la "valeur" d'une page, et c'est là que ça coince. On sait que les signaux utilisateurs, le PageRank interne, la fraîcheur et la cohérence thématique jouent, mais les pondérations restent floues. [A verifier] : impossible de quantifier précisément le seuil en dessous duquel une page est jugée trop faible pour l'index.

Quelles nuances faut-il apporter à cette affirmation ?

D'abord, Google ne précise pas si la duplication dont il parle concerne le contenu textuel pur ou aussi les signaux structurels (balises title, H1, intentions similaires). Nos tests montrent que deux pages avec 70 % de texte commun mais des intentions distinctes peuvent toutes deux être indexées si le maillage interne les distingue clairement.

Ensuite, la notion de "valeur" varie selon le secteur. Une fiche produit e-commerce avec 100 mots peut être indexée si elle a des backlinks, du trafic direct, ou des signaux d'engagement. Une page de blog de 100 mots, jamais. Le contexte et l'autorité du domaine comptent autant que le contenu brut.

Dans quels cas cette règle ne s'applique-t-elle pas vraiment ?

Les sites d'actualité et les gros médias bénéficient d'un traitement préférentiel : leur contenu est crawlé et indexé quasi en temps réel, même si certaines pages sont légères. Google privilégie la fraîcheur et l'autorité éditoriale sur les critères de valeur classiques.

Même chose pour les sites à très forte autorité de domaine : un géant du SaaS peut indexer des landing pages minimalistes parce que le trust global compense. Pour un petit site, les mêmes pages resteraient bloquées. L'équité proclamée par Google masque une réalité : tous les sitemaps ne sont pas traités avec la même exigence.

Comment auditer les URLs non indexées de votre sitemap ?

Première étape : exportez depuis la Search Console le rapport "Pages" > "Non indexées", filtrez sur "Discovered – currently not indexed", et croisez avec votre sitemap XML. Vous obtenez la liste exacte des URLs que Google a vues mais jugées insuffisantes.

Analysez ces URLs par typologie : ce sont des pages filtrées ? Des variations de produits ? Des catégories vides ? Des paginations profondes ? Identifiez les patterns. Si 80 % sont des facettes e-commerce, vous savez où agir. Utilisez un crawler (Screaming Frog, Oncrawl) pour mesurer la profondeur de clic, le contenu unique, et la présence de liens internes.

Quelles actions prioritaires pour améliorer le taux d'indexation ?

Retirez du sitemap toutes les URLs de faible valeur : filtres sans contenu additionnel, paginations au-delà de la page 3, variantes produits quasi identiques. Ne gardez que les pages avec un contenu substantiel et une intention de recherche distincte.

Renforcez le maillage interne des pages stratégiques non indexées. Une URL à 6 clics de la home, même dans le sitemap, a peu de chances d'être indexée. Remontez-la à 2-3 clics via des liens contextuels depuis des pages à fort PageRank interne. Enrichissez le contenu des pages jugées "thin" : ajoutez des blocs différenciants, des FAQ, des avis utilisateurs, tout ce qui augmente l'unicité perçue.

Comment éviter de gaspiller le crawl budget sur des pages inutiles ?

Utilisez le robots.txt et les balises noindex de manière chirurgicale. Les pages filtrées, les résultats de recherche interne, les variantes de tri : tout ça doit être bloqué au crawl ou en noindex, et retiré du sitemap. Google crawlera alors plus intensément vos pages à forte valeur.

Segmentez vos sitemaps par typologie de contenu (un sitemap produits, un sitemap blog, un sitemap catégories). Cela permet de monitorer finement le taux d'indexation par type et d'identifier les goulots. Enfin, surveillez la fréquence de crawl dans la Search Console : si elle chute après un nettoyage de sitemap, c'est bon signe, ça veut dire que Google concentre ses ressources sur moins d'URLs mais de meilleure qualité.

• Exporter et analyser les URLs "Discovered – currently not indexed" depuis la Search Console
• Retirer du sitemap toutes les pages de faible valeur (filtres, paginations profondes, duplications)
• Renforcer le maillage interne vers les pages stratégiques non indexées
• Enrichir le contenu des pages jugées "thin" avec des blocs différenciants
• Bloquer au crawl (robots.txt) ou en noindex les pages sans intention de recherche
• Segmenter les sitemaps par typologie pour un suivi fin du taux d'indexation