Official statement
Blocking crawling or indexing can be good options when the content is not private or if it simply involves parts of a website that you wish to prevent from appearing in search results.
Other statements from this video 6 ▾
- □ Comment masquer votre site des résultats de recherche Google en restant accessible ?
- □ Faut-il vraiment utiliser un mot de passe pour protéger le contenu privé?
- □ Faut-il réellement compter sur le fichier robots.txt pour bloquer le crawl des moteurs de recherche ?
- □ Pourquoi le robots.txt ne garantit pas l'absence d'indexation ?
- □ Comment la balise noindex affecte-t-elle votre stratégie d'indexation SEO ?
- □ Comment la protection par mot de passe influence-t-elle le SEO du contenu privé ?
Official statement from
(4 years ago)
⚠ A more recent statement exists on this topic
Should You Really Block the GoogleOther Crawler in Your Robots.txt?
View statement →
TL;DR
According to Google, it makes sense to block crawling or indexing for non-private content or certain parts of the site that you want to exclude from search results. This prevents the unwanted appearance of such content in the SERPs.
❓ Frequently Asked Questions
Bloquer le crawl impacte-t-il le SEO ?
Oui, cela réduit la visibilité de certaines pages qui ne doivent pas apparaître dans les résultats de recherche.
Peut-on empêcher l'indexation via robots.txt ?
Non, robots.txt gère le crawl, mais utilisez meta 'noindex' pour l'indexation.
Quand bloquer des parties de site ?
Quand elles ne sont pas essentielles au SEO ou concernent des tests, duplications.
🎥 From the same video 6
Other SEO insights extracted from this same Google Search Central video · published on 24/11/2021
🎥 Watch the full video on YouTube →
💬 Comments (0)
Be the first to comment.