Pourquoi Google ignore-t-il la directive crawl-delay dans robots.txt ?

Qu'est-ce que la directive crawl-delay et pourquoi existe-t-elle ?

La directive crawl-delay permet théoriquement de définir un délai minimum entre deux requêtes consécutives d'un robot d'indexation. Elle s'inscrit dans le fichier robots.txt avec une syntaxe simple : Crawl-delay: 10 indique au bot d'attendre 10 secondes entre chaque page crawlée.

Cette directive a été créée pour protéger les serveurs peu puissants d'un afflux trop massif de requêtes. Un petit site hébergé sur une infrastructure limitée peut rapidement saturer si Googlebot crawle 100 pages par seconde. Certains moteurs comme Bing ou Yandex ont adopté cette directive, mais Google a toujours refusé de la prendre en compte.

Pourquoi Google ne supporte-t-il pas crawl-delay ?

Google considère cette directive comme trop rigide et imprécise. Un délai uniforme ne tient pas compte de la réalité technique d'un site : certaines pages sont légères et rapides à servir, d'autres lourdes et coûteuses en ressources serveur. Appliquer le même délai partout manque de granularité.

Google préfère un système adaptatif qui analyse en temps réel la capacité du serveur à répondre. Si le serveur répond rapidement avec des codes 200, Googlebot accélère. Si des erreurs 503 ou des timeouts apparaissent, il ralentit automatiquement. Cette approche dynamique serait plus intelligente qu'un délai statique défini dans robots.txt.

Comment Google gère-t-il réellement son taux de crawl ?

Le moteur utilise plusieurs signaux pour ajuster automatiquement son crawl budget. La vitesse de réponse du serveur, les codes d'erreur, les timeouts, et même les signaux de performance infrastructure entrent en ligne de compte. Googlebot ralentit s'il détecte que le serveur souffre.

Les webmasters disposent d'un outil dans Google Search Console pour limiter le taux de crawl maximum. Cette option se trouve dans les anciens paramètres de crawl (bien que Google ait récemment simplifié cette interface). Le réglage permet de plafonner la fréquence, mais pas de la forcer à la hausse.

• Google n'a jamais supporté crawl-delay et ne le fera probablement jamais
• Utiliser Google Search Console pour contrôler le taux de crawl, pas robots.txt
• Googlebot s'adapte automatiquement selon la capacité de réponse du serveur
• D'autres moteurs comme Bing et Yandex respectent crawl-delay, créant une incohérence entre bots
• Un délai statique ne convient pas à la logique adaptative de Google

Cette position est-elle cohérente avec les pratiques terrain ?

Sur le papier, l'argument de Google tient la route. Un système adaptatif qui ralentit automatiquement quand le serveur montre des signes de faiblesse semble plus intelligent qu'un délai fixe. Le problème : les webmasters manquent de visibilité sur ce mécanisme.

Dans la réalité, on observe régulièrement des cas où Googlebot martèle un serveur au-delà de sa capacité, provoquant des pics de charge et des erreurs 503. Le bot ralentit effectivement après coup, mais le mal est fait. [A vérifier] : Google affirme que son système anticipe ces problèmes, mais les logs serveur racontent parfois une autre histoire.

Quels sont les angles morts de cette déclaration ?

Google ne précise pas comment il mesure la capacité serveur. S'appuie-t-il uniquement sur les codes HTTP et les temps de réponse ? Prend-il en compte la charge CPU côté serveur ? Cette opacité frustre les professionnels qui aimeraient optimiser leur infrastructure en conséquence.

Autre point : la recommandation d'utiliser Search Console suppose que tous les sites y ont accès. Les CDN, les sites multi-domaines complexes, ou certaines architectures techniques rendent ce pilotage plus délicat qu'il n'y paraît. Par ailleurs, le réglage dans GSC ne permet que de limiter le crawl, jamais de l'accélérer.

Faut-il quand même utiliser crawl-delay pour les autres bots ?

Oui, et c'est là que la position de Google crée une incohérence pratique. Bing, Yandex, et une multitude de bots tiers respectent cette directive. Un site qui reçoit du trafic non-Google (et ils sont nombreux) a tout intérêt à définir crawl-delay pour protéger son infrastructure.

Certains webmasters définissent des règles différentes par user-agent : un crawl-delay pour Bingbot, rien pour Googlebot. Cette approche fonctionne, mais elle complexifie la maintenance du robots.txt. L'idéal serait un standard universel, mais on en est loin.

Que faut-il faire concrètement pour contrôler le taux de crawl Google ?

Oubliez la directive crawl-delay dans robots.txt pour Googlebot. Elle sera simplement ignorée. Concentrez-vous sur Google Search Console, section « Paramètres de crawl » (ou « Crawl stats » selon la version de l'interface). Vous y trouverez les statistiques d'exploration et, dans certains cas, l'option de limiter le taux.

Surveillez vos logs serveur pour identifier les patterns de crawl excessif. Si vous détectez des pics qui saturent votre infrastructure, limitez temporairement le taux via GSC. Gardez en tête que cette limitation ralentit l'indexation de nouvelles pages : c'est un arbitrage à faire entre performance serveur et fraîcheur d'indexation.

Comment optimiser son infrastructure pour supporter le crawl Google ?

La vraie solution long terme n'est pas de brider Googlebot, mais de rendre votre site capable d'encaisser la charge. Mettez en place un CDN pour servir les ressources statiques, optimisez les requêtes base de données, utilisez du caching agressif pour les pages HTML.

Côté architecture, isolez les pages à forte valeur SEO des sections peu importantes. Utilisez robots.txt pour bloquer les sections inutiles (facettes infinies, paramètres d'URL redondants, back-office). Moins Googlebot perd de temps sur du contenu sans valeur, plus il crawle efficacement ce qui compte.

Quelles erreurs éviter absolument ?

Ne définissez pas un crawl-delay trop agressif en pensant que Google le respectera : il l'ignorera, mais vous pénaliserez Bing et les autres bots. Ne confondez pas limitation du taux de crawl et blocage d'URL : robots.txt reste l'outil pour interdire l'accès à certaines sections, pas pour ralentir le bot.

Évitez également de brider le crawl par défaut dans GSC sans raison valable. Si votre serveur encaisse sans problème, laissez Google explorer à son rythme naturel. Un crawl budget optimal accélère l'indexation de vos mises à jour et améliore votre réactivité SEO.

• Supprimer toute directive crawl-delay pour Googlebot dans robots.txt (elle est ignorée)
• Utiliser Google Search Console pour limiter le taux de crawl si nécessaire
• Analyser les logs serveur pour détecter les pics de crawl problématiques
• Mettre en place un CDN et du caching pour supporter la charge
• Bloquer via robots.txt les sections sans valeur SEO (facettes, paramètres redondants)
• Conserver crawl-delay pour les autres moteurs (Bing, Yandex) si pertinent