Declaration officielle
Le fichier robots.txt permet aux webmasters de spécifier l'accès de leur site. Avant de crawler une URL, Googlebot vérifie toujours le fichier robots.txt. Si le fichier robots.txt n'est pas accessible ou retourne une erreur 5xx persistante, Googlebot ne crawl aucun URL pour éviter des problèmes d'accès.
4:45
Autres déclarations de cette vidéo 3 ▾
Declaration officielle du
(il y a 6 ans)
⚠ Une declaration plus recente existe sur ce sujet
Faut-il vraiment utiliser le noindex plutôt que le robots.txt pour désindexer un...
Voir la declaration →
🎥 De la même vidéo 3
Autres enseignements SEO extraits de cette même vidéo Google Search Central · durée 8 min · publiée le 02/04/2020
🎥 Voir la vidéo complète sur YouTube →
💬 Commentaires (0)
Soyez le premier à commenter.