Robots.txt : comment il pilote vraiment l'exploration de votre site
Podcast28/07/2026
Le fichier robots.txt est un fichier texte brut placé à la racine d'un hôte web, qui indique aux robots d'exploration quelles URL ils peuvent ou ne peuvent pas récupérer sur ce site. Il sert principalement à gérer le trafic des crawlers et à éviter de surcharger le serveur, et non à empêcher une page d'apparaître dans un moteur de recherche. Son fonctionnement est normalisé par le protocole d'exclusion des robots (RFC 9309), que Googlebot, Bingbot et la plupart des crawlers sérieux respectent, sans que ce respect puisse être techniquement imposé.
Norme de référence
RFC 9309 (Standards Track)
Le protocole d'exclusion des robots est un standard IETF formel, rédigé par Koster, Illyes, Zeller et Sassman.
Limite de parsing
au moins 500 Kio
Un crawler doit analyser au minimum les 500 premiers kibioctets du fichier, le reste pouvant être ignoré.
Durée de cache
jusqu'à 24 heures
Le fichier peut être mis en cache pendant au maximum 24 heures, ou selon la valeur de la directive de cache HTTP fournie.
Erreur serveur
5xx = interdiction totale
Si le fichier est inaccessible pour cause d'erreur serveur ou réseau, le crawler doit considérer que tout est interdit.
L'essentiel à retenir
Un outil de gestion du crawl, pas d'indexation
Le fichier indique aux robots quelles URL ils peuvent atteindre, principalement pour éviter de surcharger le site de requêtes, et ne constitue pas un mécanisme pour retirer une page de Google.
Le protocole d'exclusion des robots est spécifié par la RFC 9309, document de catégorie Standards Track publié par l'IETF, qui définit la syntaxe, la gestion des erreurs et la mise en cache.
Bloquer le crawl n'empêche pas l'indexation de l'URL
Une URL interdite dans robots.txt peut malgré tout être indexée si elle est liée depuis d'autres sites, et s'afficher dans les résultats sans extrait de contenu.
Google exploite user-agent, disallow, allow et sitemap, ce dernier étant également reconnu par Bing et les autres grands moteurs tel que défini par sitemaps.org.
Google applique la règle dont le chemin correspond le plus précisément à l'URL et prend en charge les jokers * (zéro ou plusieurs caractères) et $ (fin d'URL).
Les noms de champs sont insensibles à la casse mais les valeurs de chemin de disallow et allow y sont sensibles, et une règle sans chemin est simplement ignorée.
Commencer chaque groupe par une ligne user-agent identifiant le robot visé, puis lister en dessous les règles disallow et allow qui s'appliquent à ce groupe.
Écrire les chemins en respectant la casse et utiliser les jokers * et $ pour couvrir des motifs d'URL, en gardant à l'esprit que la règle la plus spécifique l'emporte.
Ajouter une ligne sitemap avec l'URL complète du fichier XML, champ pris en compte par Google et Bing et ignoré lors de l'évaluation des règles d'exploration.
Contrôler dans le rapport robots.txt de la Search Console
Le rapport disponible dans les paramètres de la Search Console affiche les fichiers robots.txt trouvés pour les principaux hôtes du site, les avertissements et erreurs, et permet de demander une nouvelle exploration du fichier.
