Official statement
Google states that Googlebot typically follows the guidelines set in the robots.txt file. If a site appears in search results despite a robots.txt block, it's because the URL is known through external links, but the content is not crawled.
27:07
Other statements from this video 12 ▾
- 3:17 Pourquoi Google affirme-t-il qu'il n'y a aucun problème d'indexation généralisé ?
- 3:17 Pourquoi Google communique-t-il rapidement sur les problèmes d'indexation majeurs ?
- 3:17 Pourquoi Google limite-t-il l'indexation en fonction de la qualité perçue d'un site ?
- 3:17 Pourquoi miser sur le contenu pour résoudre vos problèmes d'indexation ?
- 20:02 Pourquoi faut-il signaler le spam via l'outil specifique de Google ?
- 23:07 Faut-il encore utiliser les redirections 301 après plusieurs mois ?
- 28:07 Pourquoi taper une URL dans Chrome n'assure-t-il pas son indexation ?
- 31:48 Comment le cloaking impacte-t-il le Mobile-First Indexing ?
- 38:05 Pourquoi les balises hreflang sont-elles essentielles en SEO multilingue?
- 43:53 Comment les données Chrome dans Discover influencent-elles vos analyses SEO ?
- 51:35 Pourquoi utiliser l'attribut nofollow comme solution de repli en SEO ?
- 53:00 Pourquoi abandonner les URLs séparées pour mobile et desktop?
Official statement from
(4 years ago)
⚠ A more recent statement exists on this topic
Why do so many SEO professionals still confuse robots.txt and no-index? Here's w...
View statement →
TL;DR
Googlebot generally adheres to the robots.txt file. If a site is listed despite a block, it's due to external links. The content isn't crawled.
🎥 From the same video 12
Other SEO insights extracted from this same Google Search Central video · published on 25/11/2021
🎥 Watch the full video on YouTube →
💬 Comments (0)
Be the first to comment.