Official statement
<p>Robots.txt prevents the crawling of a URL but does not stop its indexing. Google may index a URL blocked by robots.txt based solely on its URL and the link anchors pointing to it. To prevent indexing, use the noindex meta tag.</p>
Other statements from this video 24 ▾
- □ Comment Google détecte-t-il les abus liés aux domaines expirés ?
- □ Comment manipuler efficacement les plaintes DMCA pour le SEO ?
- □ La désindexation temporaire impacte-t-elle vraiment votre classement SEO ?
- □ Pourquoi ignorer les copies de contenu qui ne rivalisent pas avec votre classement SEO ?
- □ Les résultats omis affectent-ils vraiment votre SEO ?
- □ Comment l'orthographe influence-t-elle vraiment votre SEO ?
- □ Pourquoi le trafic de marque résiste-t-il aux changements d'algorithme ?
- □ Pourquoi certaines marques n'apparaissent-elles pas sur des requêtes génériques ?
- □ Comment se démarquer en SEO dans un marché saturé ?
- □ Comment Google détermine-t-il vraiment les dates de publication d'une page ?
- □ Pourquoi les très gros sites doivent-ils repenser leur utilisation de Search Console ?
- □ Pourquoi utiliser l'API Search Console pour les gros sites SEO ?
- □ Les core updates doivent-ils être pris isolément en SEO ?
- □ Le nombre d'avis influence-t-il vraiment votre SEO ?
- □ Pourquoi vos pages restent-elles invisibles sur Google ?
- □ Pourquoi une réévaluation qualité manuelle est-elle impossible pour votre site ?
- □ AMP diminue-t-il vraiment les performances SEO de votre site ?
- □ Les liens d'affiliation influencent-ils vraiment votre SEO ?
- □ Pourquoi Google ne pénalise-t-il pas chaque erreur de SEO ?
- □ Pourquoi supprimer une redirection n'augmente-t-il pas votre SEO ?
- □ Faut-il débloquer JavaScript et CSS pour Google ?
- □ Pourquoi changer l'URL d'une image optimisée accélère-t-il sa mise à jour dans l'index ?
- □ Les Core Web Vitals reposent-ils vraiment sur des données utilisateur réelles ?
- □ Est-ce que le choix entre pages et posts WordPress influence le SEO ?
Official statement from
(4 years ago)
⚠ A more recent statement exists on this topic
Why is robots.txt preventing Google from deindexing your pages?
View statement →
TL;DR
Google can index a URL even if it is blocked by robots.txt. Only the noindex meta tag prevents indexing. Be cautious of link anchors that may reveal a URL.
❓ Frequently Asked Questions
Comment bloquer efficacement une URL de l'indexation ?
Utilisez la balise meta noindex. Le robots.txt ne suffit pas pour cela.
Quels risques si seules les instructions de robots.txt sont utilisées ?
L'URL peut malgré tout être indexée si elle est référencée par des liens externes.
La balise noindex suffit-elle à bloquer le crawl ?
Non, elle empêche l'indexation mais pas le crawl, contrairement au robots.txt.
🎥 From the same video 24
Other SEO insights extracted from this same Google Search Central video · published on 06/08/2021
🎥 Watch the full video on YouTube →
💬 Comments (0)
Be the first to comment.