Official statement
In robots.txt, when there is both a general directive (User-agent: *) and a specific directive for Googlebot, the most specific directive takes precedence. Googlebot will follow its specific instructions even if a general Disallow directive is present.
23:23
Other statements from this video 10 ▾
- 1:43 Pourquoi privilégier l'expérience utilisateur sur le classement SEO ?
- 5:48 Pourquoi l'analyse comportementale est-elle cruciale pour votre SEO ?
- 9:58 Comment rendre une page plus performante qu'une page officielle générique?
- 12:32 Comment le Mobile-First Indexing impacte-t-il les nouveaux sites SEO ?
- 16:50 Comment utiliser Search Console pour corriger les incohérences SEO?
- 17:21 Faut-il utiliser du contenu unique pour confirmer le Mobile-First Indexing ?
- 18:42 Doit-on vraiment combiner un sitemap XML et WebSub pour l'indexation?
- 23:23 Comment Instagram echappe-t-il a des restrictions du robots.txt pour l'indexation par Google?
- 26:06 Les réseaux sociaux influencent-ils vraiment votre SEO ?
- 26:06 Pourquoi publier du texte sous forme d'image n'est-il pas une bonne idée pour le SEO ?
Official statement from
(3 years ago)
⚠ A more recent statement exists on this topic
Should You Use Noindex and Nofollow on Redirecting URLs?
View statement →
TL;DR
Googlebot always follows specific directives even in the presence of general directives in robots.txt. Prioritize Googlebot-specific instructions to control your indexing.
❓ Frequently Asked Questions
Comment vérifier si mon robots.txt est correct ?
Utilisez outils Google pour tester votre fichier ou effectuez un audit manuel.
Pourquoi Googlebot est-il prioritaire ?
Googlebot est le principal agent de crawl, déterminant pour l'indexation de votre contenu.
Peut-on combiner directives générales et spécifiques ?
Oui, mais les directives spécifiques pour Googlebot priment en cas de contradiction.
🎥 From the same video 10
Other SEO insights extracted from this same Google Search Central video · duration 36 min · published on 14/07/2022
🎥 Watch the full video on YouTube →
💬 Comments (0)
Be the first to comment.