Declaration officielle
Google affirme que Googlebot respecte dans pratiquement tous les cas les directives du fichier robots.txt. Si un site apparaît dans les résultats malgré un blocage robots.txt, c'est parce que l'URL est connue via des liens externes, mais le contenu n'est pas crawlé.
27:07
Autres déclarations de cette vidéo 12 ▾
- 3:17 Pourquoi Google affirme-t-il qu'il n'y a aucun problème d'indexation généralisé ?
- 3:17 Pourquoi Google communique-t-il rapidement sur les problèmes d'indexation majeurs ?
- 3:17 Pourquoi Google limite-t-il l'indexation en fonction de la qualité perçue d'un site ?
- 3:17 Pourquoi miser sur le contenu pour résoudre vos problèmes d'indexation ?
- 20:02 Pourquoi faut-il signaler le spam via l'outil specifique de Google ?
- 23:07 Faut-il encore utiliser les redirections 301 après plusieurs mois ?
- 28:07 Pourquoi taper une URL dans Chrome n'assure-t-il pas son indexation ?
- 31:48 Comment le cloaking impacte-t-il le Mobile-First Indexing ?
- 38:05 Pourquoi les balises hreflang sont-elles essentielles en SEO multilingue?
- 43:53 Comment les données Chrome dans Discover influencent-elles vos analyses SEO ?
- 51:35 Pourquoi utiliser l'attribut nofollow comme solution de repli en SEO ?
- 53:00 Pourquoi abandonner les URLs séparées pour mobile et desktop?
Declaration officielle du
(il y a 4 ans)
⚠ Une declaration plus recente existe sur ce sujet
Robots.txt vs no-index : pourquoi tant de pros SEO mélangent encore ces deux méc...
Voir la declaration →
TL;DR
Googlebot respecte le robots.txt la plupart du temps. Si un site est listé malgré un blocage, c'est via des liens externes. Le contenu n'est pas crawlé.
🎥 De la même vidéo 12
Autres enseignements SEO extraits de cette même vidéo Google Search Central · publiée le 25/11/2021
🎥 Voir la vidéo complète sur YouTube →
💬 Commentaires (0)
Soyez le premier à commenter.