Official statement
A no-index tag on a page does not stop Googlebot from crawling the page; it only prevents its indexing. On the other hand, blocking via robots.txt truly prevents crawling. If you see Googlebot crawling a URL blocked by robots.txt, they are probably false Googlebots.
Other statements from this video 13 ▾
- □ Comment éviter l'échec d'indexation de vos pages web ?
- □ Pourquoi les liens sans HREF limitent-ils l'indexation par Google ?
- □ Pourquoi Google indexe-t-il des pages bloquées par robots.txt ?
- □ Comment Google traite-t-il window.history.pushState en SEO ?
- □ Pourquoi le validateur mobile n'est-il pas toujours fiable pour vos URLs?
- □ La compatibilité mobile a-t-elle vraiment un impact significatif sur votre SEO ?
- □ Pourquoi les CDN peuvent-ils perturber l'affichage mobile de votre site ?
- □ Comment le contenu chargé en JavaScript reste-t-il invisible pour Googlebot?
- □ Pourquoi les boutons HTML peuvent-ils saboter votre SEO ?
- □ Comment optimiser les SPA pour s'assurer que chaque URL soit correctement indexée ?
- □ Comment la compatibilité de l'API Beacon avec le WRS impacte-t-elle votre suivi SEO ?
- □ Comment s'assurer que le contenu sous le viewport est bien pris en compte par Google ?
- □ Les outils de test de Google sont-ils vraiment fiables pour la SEO ?
Official statement from
(4 years ago)
⚠ A more recent statement exists on this topic
Why do so many SEO professionals still confuse robots.txt and no-index? Here's w...
View statement →
TL;DR
The no-index tag prevents indexing but not crawling. To block crawling, use the robots.txt file. Be cautious of false Googlebots if you notice crawling despite a block.
❓ Frequently Asked Questions
Une balise no-index empêche-t-elle le crawl ?
Non, elle empêche seulement l'indexation, pas le crawl.
Comment vérifier si un Googlebot est légitime ?
Utilisez les outils de Google pour vérifier les IP et comparez-les aux listes officielles.
Que faire en cas de visites par des faux Googlebots ?
Surveillez vos journaux de serveur et adaptez vos protections contre les bots frauduleux.
🎥 From the same video 13
Other SEO insights extracted from this same Google Search Central video · published on 22/09/2021
🎥 Watch the full video on YouTube →
💬 Comments (0)
Be the first to comment.