Official statement
Blocking crawling with robots.txt is not an ideal approach, as search engines can still index the website’s address without accessing the content. It's rare, but it can happen.
Other statements from this video 6 ▾
- □ Comment masquer votre site des résultats de recherche Google en restant accessible ?
- □ Faut-il vraiment utiliser un mot de passe pour protéger le contenu privé?
- □ Faut-il réellement compter sur le fichier robots.txt pour bloquer le crawl des moteurs de recherche ?
- □ Comment la balise noindex affecte-t-elle votre stratégie d'indexation SEO ?
- □ Comment la protection par mot de passe influence-t-elle le SEO du contenu privé ?
- □ Quand bloquer le crawl ou l'indexation pour optimiser votre SEO ?
Official statement from
(4 years ago)
⚠ A more recent statement exists on this topic
Can a 500 Error on Your robots.txt Really Block Your Entire Site Crawl?
View statement →
TL;DR
Blocking a site with robots.txt isn't enough to prevent its URLs from being indexed. Google can index a URL even without accessing the content. Be aware of potential misunderstandings.
❓ Frequently Asked Questions
Le robots.txt suffit-il à empêcher l'indexation d'une page ?
Non, le robots.txt bloque le crawl mais pas nécessairement l'indexation si la page est découverte autrement.
Comment empêcher totalement l'indexation d'une page ?
Utilisez la balise noindex en complément du robots.txt pour être plus sûr.
Pourquoi une URL bloquée peut-elle encore apparaître dans les SERP ?
Si des backlinks pointent vers cette URL ou si des signaux externes existent, Google peut l'indexer.
🎥 From the same video 6
Other SEO insights extracted from this same Google Search Central video · published on 24/11/2021
🎥 Watch the full video on YouTube →
💬 Comments (0)
Be the first to comment.