Declaration officielle
Une balise no-index sur une page n'empêche pas Googlebot de crawler la page, elle empêche seulement son indexation. En revanche, un blocage via robots.txt empêche réellement le crawl. Si vous voyez Googlebot crawler une URL bloquée par robots.txt, ce sont probablement de faux Googlebots.
Autres déclarations de cette vidéo 13 ▾
- □ Comment éviter l'échec d'indexation de vos pages web ?
- □ Pourquoi les liens sans HREF limitent-ils l'indexation par Google ?
- □ Pourquoi Google indexe-t-il des pages bloquées par robots.txt ?
- □ Comment Google traite-t-il window.history.pushState en SEO ?
- □ Pourquoi le validateur mobile n'est-il pas toujours fiable pour vos URLs?
- □ La compatibilité mobile a-t-elle vraiment un impact significatif sur votre SEO ?
- □ Pourquoi les CDN peuvent-ils perturber l'affichage mobile de votre site ?
- □ Comment le contenu chargé en JavaScript reste-t-il invisible pour Googlebot?
- □ Pourquoi les boutons HTML peuvent-ils saboter votre SEO ?
- □ Comment optimiser les SPA pour s'assurer que chaque URL soit correctement indexée ?
- □ Comment la compatibilité de l'API Beacon avec le WRS impacte-t-elle votre suivi SEO ?
- □ Comment s'assurer que le contenu sous le viewport est bien pris en compte par Google ?
- □ Les outils de test de Google sont-ils vraiment fiables pour la SEO ?
Declaration officielle du
(il y a 4 ans)
⚠ Une declaration plus recente existe sur ce sujet
Robots.txt vs no-index : pourquoi tant de pros SEO mélangent encore ces deux méc...
Voir la declaration →
TL;DR
La balise no-index empêche l'indexation mais pas le crawl. Pour éviter le crawl, utilisez le fichier robots.txt. Attention aux faux Googlebots si vous constatez du crawl malgré un blocage.
❓ Questions frequentes
Une balise no-index empêche-t-elle le crawl ?
Non, elle empêche seulement l'indexation, pas le crawl.
Comment vérifier si un Googlebot est légitime ?
Utilisez les outils de Google pour vérifier les IP et comparez-les aux listes officielles.
Que faire en cas de visites par des faux Googlebots ?
Surveillez vos journaux de serveur et adaptez vos protections contre les bots frauduleux.
🎥 De la même vidéo 13
Autres enseignements SEO extraits de cette même vidéo Google Search Central · publiée le 22/09/2021
🎥 Voir la vidéo complète sur YouTube →
💬 Commentaires (0)
Soyez le premier à commenter.