Google supporte-t-il vraiment la directive crawl-delay dans robots.txt ?

Pourquoi cette précision de Google sur crawl-delay maintenant ?

La directive crawl-delay existe depuis l'époque où différents moteurs de recherche avaient leurs propres standards dans le fichier robots.txt. Bing et d'autres crawlers l'ont implémentée, créant une confusion durable chez les SEO qui pensaient que Google la respectait également.

Cette confusion persiste parce que beaucoup de générateurs de robots.txt incluent encore cette directive par défaut. Des milliers de sites l'utilisent sans savoir qu'elle est totalement inefficace pour contrôler Googlebot. La précision de Mueller vise à clarifier une bonne fois pour toutes : cette ligne dans votre fichier ne sert strictement à rien pour Google.

Comment Google gère-t-il réellement la fréquence de crawl ?

Google utilise son propre algorithme de crawl budget qui s'ajuste automatiquement selon plusieurs facteurs : la popularité du site, la fréquence de mise à jour du contenu, la qualité technique de l'infrastructure et les signaux de santé serveur. Le robot adapte sa vitesse en temps réel.

Contrairement à une directive statique, ce système dynamique observe les temps de réponse serveur et ralentit automatiquement si le site montre des signes de stress. C'est une approche beaucoup plus sophistiquée qu'un simple délai fixe entre deux requêtes.

Que propose Google comme alternative concrète ?

La Google Search Console offre un outil de gestion du taux d'exploration dans les paramètres avancés. Cet outil permet de définir une limite supérieure au nombre de requêtes que Googlebot peut effectuer par seconde sur votre site.

Cette solution reste limitée : vous pouvez freiner le crawl, mais pas l'accélérer au-delà de ce que Google juge approprié. Autrement dit, c'est un plafond, pas un plancher. Si Google estime que votre site mérite moins d'attention, baisser ce paramètre ne changera rien à l'exploration réelle.

• La directive crawl-delay dans robots.txt n'a jamais été supportée par Google, contrairement à Bing ou d'autres crawlers
• Google ajuste le crawl budget de manière dynamique et automatique selon la santé technique du site et sa popularité
• L'outil de limitation dans Search Console permet uniquement de plafonner le taux d'exploration, pas de l'augmenter
• Les temps de réponse serveur et la qualité technique influencent directement la vitesse d'exploration que Google s'autorise
• Utiliser crawl-delay pour Google relève d'une méconnaissance technique qui date de l'époque pré-GSC

Cette position de Google est-elle cohérente avec les observations terrain ?

Absolument. Les tests réalisés sur des milliers de sites montrent que modifier la valeur de crawl-delay dans robots.txt n'a strictement aucun impact mesurable sur le comportement de Googlebot. Les logs serveur le confirment : Google ignore cette directive sans exception.

Ce qui est plus intéressant, c'est que certains SEO ont tenté d'utiliser crawl-delay pour ralentir délibérément l'exploration de sections peu stratégiques. Ça ne marche pas avec Google, mais ça fonctionne parfaitement avec Bing, créant une asymétrie dans la gestion multi-moteurs du crawl budget.

Quelles sont les limites de l'outil Search Console proposé ?

Soyons honnêtes : l'outil GSC est rudimentaire et frustrant. Il ne permet que de limiter le crawl, jamais de l'accélérer. Pour un site e-commerce avec 100 000 pages qui se bat pour faire indexer ses nouvelles fiches produits rapidement, cet outil est inutile.

Pire encore, Google se réserve le droit d'ignorer vos réglages si son algorithme juge que votre serveur supporte davantage de charge. Le contrôle que vous avez est donc théorique plus que réel. La vraie maîtrise du crawl budget passe par l'architecture technique, pas par un curseur dans une interface.

Dans quels cas cette limitation de Google pose-t-elle problème ?

Les sites avec des infrastructures fragiles ou mutualisées peuvent subir des pics de crawl qui saturent temporairement leurs ressources. Sans crawl-delay fonctionnel, ils dépendent uniquement de la bienveillance de l'algorithme de Google pour détecter le stress serveur et ralentir.

Le problème devient critique pour les sites qui migrent, refondent leur structure ou lancent massivement du nouveau contenu. Ils aimeraient accélérer temporairement le crawl sur certaines sections prioritaires, mais Google ne leur donne aucun levier direct pour le faire. La seule option est d'améliorer les signaux indirects : temps de réponse, popularité des pages, fraîcheur du contenu. [A verifier] : certains prétendent que soumettre un sitemap déclenche un crawl plus agressif temporairement, mais rien n'est documenté officiellement.

Que faut-il faire immédiatement dans votre robots.txt ?

Commencez par supprimer toute ligne crawl-delay de votre fichier robots.txt si elle vise Google. Elle n'a aucun effet et pollue inutilement votre fichier. Si vous utilisez un générateur automatique qui l'ajoute, désactivez cette option ou passez à une solution plus moderne.

Gardez crawl-delay uniquement si vous ciblez explicitement d'autres moteurs comme Bing ou Yandex qui la respectent. Dans ce cas, utilisez des user-agents spécifiques pour éviter toute confusion. Votre robots.txt doit être propre, lisible et ne contenir que des directives réellement efficaces.

Comment optimiser réellement votre crawl budget Google ?

Le crawl budget se gagne par la qualité technique et la popularité, pas par des directives statiques. Concentrez-vous sur la réduction des temps de réponse serveur, l'élimination des chaînes de redirections, la suppression des pages mortes ou dupliquées, et l'amélioration de votre maillage interne.

Les pages importantes doivent être accessibles en 3 clics maximum depuis la homepage et recevoir des liens internes de qualité. Google crawle plus fréquemment les pages qu'il juge populaires et stratégiques. Si vous avez 50 000 pages mais que seules 5 000 sont réellement utiles, bloquez ou désindexez les autres via robots.txt ou noindex.

Quand utiliser l'outil de limitation dans Search Console ?

N'y touchez que si vous observez dans vos logs serveur des pics de crawl anormaux qui corrèlent avec des ralentissements ou des erreurs 503. Avant d'activer cette limite, assurez-vous que le problème vient bien du crawl et pas d'une faiblesse infrastructure globale.

Une fois la limite activée, surveillez l'impact sur votre fréquence d'indexation dans GSC. Si vous constatez que de nouvelles pages importantes mettent plus de temps à être découvertes ou indexées, c'est que vous avez trop bridé le crawl. Ajustez progressivement jusqu'à trouver l'équilibre optimal entre charge serveur et exploration efficace.

• Supprimer crawl-delay de robots.txt pour Google ou le réserver explicitement à d'autres user-agents
• Auditer les temps de réponse serveur et optimiser l'infrastructure technique pour encourager un crawl plus rapide
• Identifier et bloquer via robots.txt les sections inutiles qui gaspillent du crawl budget
• Améliorer le maillage interne vers les pages stratégiques pour augmenter leur fréquence de crawl
• Surveiller les logs serveur pour détecter des comportements de crawl anormaux avant d'activer la limitation GSC
• Tester l'impact de toute limitation sur la vitesse d'indexation des nouvelles pages via GSC