Comment vérifier qu'un crawl provient réellement de Googlebot et pas d'un imposteur ?

Pourquoi des bots se font-ils passer pour Googlebot ?

Les faux Googlebots pullulent sur le web. Certains outils SEO, scrapers ou concurrents malveillants usurpent l'identité de Googlebot dans leur user-agent HTTP pour contourner les restrictions serveur et aspirer du contenu sans se faire bloquer.

Cette pratique fausse les analyses de logs serveur et peut conduire à des décisions erronées sur le crawl budget ou la performance technique. Un site qui croit recevoir 10 000 hits Googlebot par jour découvre parfois que 70% proviennent de scrapers déguisés.

Comment fonctionne la vérification DNS inverse ?

La méthode recommandée par Google repose sur deux étapes : d'abord une recherche DNS inverse (reverse DNS lookup) pour obtenir le nom d'hôte associé à l'IP, puis une résolution DNS classique (forward lookup) pour confirmer que ce nom d'hôte pointe bien vers l'IP de départ.

Si le nom d'hôte se termine par googlebot.com ou google.com et que la résolution forward correspond, le bot est légitime. Sinon, c'est un imposteur qui déclare simplement « Googlebot » dans son user-agent sans posséder l'infrastructure réseau de Google.

Quelle différence avec une simple vérification d'user-agent ?

N'importe quel script peut déclarer « Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) » dans son en-tête HTTP. Cette chaîne de caractères ne prouve rien : elle se modifie en une ligne de code.

La vérification DNS inverse, elle, s'appuie sur l'infrastructure réseau réelle : seules les IP appartenant effectivement aux datacenters Google passeront le test. C'est la seule méthode fiable pour authentifier un crawler côté serveur.

• User-agent : déclaratif, facilement falsifiable, insuffisant pour authentifier
• Reverse DNS : vérifie que l'IP appartient physiquement à Google via les registres DNS
• Forward DNS : confirme la cohérence entre nom d'hôte et IP pour éviter le DNS spoofing
• Seule la combinaison reverse + forward offre une validation cryptographique robuste
• Les outils d'analyse de logs modernes intègrent cette vérification nativement

Cette méthode est-elle vraiment infaillible en production ?

Soyons honnêtes : la vérification DNS inverse reste la référence technique officielle, mais elle présente des failles pratiques. Un attaquant sophistiqué peut configurer un PTR record frauduleux sur son propre domaine pour imiter la structure « crawl-xxx.googlebot.com ». La parade : vérifier aussi que le domaine parent appartient à Google via WHOIS ou certificats SSL.

En pratique, 99% des faux Googlebots échouent déjà à la première étape : leurs IP ne possèdent aucun reverse DNS cohérent. Les cas limites concernent surtout les proxies d'entreprise ou CDN qui modifient les en-têtes, créant de faux positifs dans les logs même avec du trafic Google légitime [A vérifier selon votre stack technique].

Quand cette vérification devient-elle contre-productive ?

Sur un site à fort trafic (50+ requêtes/seconde), exécuter une double requête DNS (reverse puis forward) pour chaque hit suspect dégrade les performances serveur. La latence DNS peut atteindre 50-200ms par lookup, multipliant la charge si vous validez en temps réel.

La solution : pré-calculer les plages IP officielles de Googlebot (publiées par Google en JSON) et les mettre en cache local. Validez uniquement les IP hors de ces plages. Cette approche hybride combine rapidité et fiabilité sans surcharger le resolver DNS.

Les logs serveur suffisent-ils pour auditer le crawl réel ?

Non, et c'est là que ça coince. Même après filtrage des faux bots, vos logs ne capturent que les hits HTTP aboutis. Googlebot peut tenter de crawler des URLs bloquées par robots.txt, générer des erreurs DNS, ou abandonner avant la requête HTTP complète : aucune de ces tentatives n'apparaît dans vos logs Apache/Nginx.

Pour une vision exhaustive du comportement crawl, croisez systématiquement logs serveur validés + données Search Console (section Statistiques d'exploration). Les écarts révèlent souvent des problèmes d'infrastructure réseau invisibles côté applicatif : timeouts CDN, blocages firewall, latences DNS côté Google.

Comment automatiser la validation des crawls sur votre infrastructure ?

Implémentez un script de validation en Python ou Bash qui parse vos logs serveur quotidiens, extrait les IP déclarant un user-agent Googlebot, et exécute la double vérification DNS. Logguez les échecs dans un fichier séparé pour analyse : vous identifierez rapidement les scrapers récurrents à bloquer via .htaccess ou firewall.

Exemple simplifié en Bash : host [IP] pour le reverse lookup, vérifiez que le résultat contient « googlebot.com » ou « google.com », puis host [hostname] pour confirmer que l'IP de retour correspond. Automatisez ce script en cron nocturne pour traiter les logs de la veille sans impact performance.

Faut-il bloquer activement les faux Googlebots détectés ?

Oui, mais avec discernement. Les scrapers commerciaux déguisés en Googlebot consomment du crawl budget inutilement et peuvent extraire votre contenu à des fins concurrentielles. Bloquez leurs IP via iptables, fail2ban ou votre WAF dès qu'ils sont identifiés comme frauduleux.

Cependant, certains outils SEO légitimes (Screaming Frog, Sitebulb en mode cloud) peuvent déclarer Googlebot par défaut dans leurs crawls manuels. Si vous détectez des IP d'hébergeurs connus (AWS, DigitalOcean) avec des volumes faibles et réguliers, vérifiez qu'il ne s'agit pas de vos propres audits avant de bannir. Un faux positif bloquerait vos prestataires SEO.

Quels outils intègrent nativement cette vérification ?

Les analyseurs de logs SEO modernes (Botify, OnCrawl, Screaming Frog Log Analyzer) effectuent la validation DNS automatiquement lors de l'import. Ils filtrent les faux Googlebots et catégorisent les hits par bot légitime, vous épargnant le scripting manuel.

Côté serveur, des modules comme mod_security (Apache) ou des règles Nginx Lua peuvent valider en temps réel les user-agents suspects. Le coût CPU reste gérable si vous limitez la vérification aux seuls user-agents déclarant Google, Bing ou Yandex, qui représentent une minorité du trafic total.

• Extraire quotidiennement les IP déclarant un user-agent Googlebot depuis vos logs bruts
• Scripter la double vérification DNS (reverse + forward) via host, dig ou nslookup
• Mettre en cache les plages IP officielles Google (JSON public) pour accélérer les checks
• Bloquer les IP frauduleuses récurrentes via firewall ou .htaccess après confirmation
• Croiser les résultats avec Search Console pour détecter les écarts entre crawl réel et logs
• Documenter les faux positifs (outils SEO internes) pour éviter de bloquer vos prestataires