Official statement
To prevent Google from crawling certain URLs (for example, URLs with spammy parameters), you can use the robots.txt file to block Googlebot's access to these specific URLs.
17:49
Other statements from this video 24 ▾
- 7:09 Pourquoi Google ne parle-t-il pas de ranking pendant les Office Hours ?
- 7:09 Les données de Custom Search influencent-elles le classement SEO ?
- 9:37 Pourquoi Search Console et PSI affichent-ils des résultats différents ?
- 9:37 Pourquoi privilégier les données de Search Console pour les Core Web Vitals ?
- 15:28 Pourquoi le délai d'indexation des structures de données varie-t-il autant ?
- 17:49 Les erreurs 4xx sabotent-elles vraiment votre budget de crawl ?
- 20:08 Faut-il vraiment désavouer tous les backlinks spam ?
- 22:22 Pourquoi le Page Experience Update n'affecte-t-il pas les metrics Core Web Vitals ?
- 22:22 Comment le changement de calcul du CLS influence-t-il votre stratégie SEO ?
- 24:21 Faut-il vraiment soumettre ses pages manuellement à Google pour l'indexation ?
- 24:21 Pourquoi Google garde-t-il ses quotas d'indexation manuelle secrets ?
- 28:08 Pourquoi les délais d'indexation de Google s'allongent-ils pour certains sites ?
- 28:08 Pourquoi l'originalité devrait-elle primer sur la simple amélioration en SEO ?
- 33:12 Pourquoi indiquer plusieurs auteurs dans les données structurées est-il crucial pour le SEO ?
- 33:33 Comment la qualité du contenu impacte-t-elle réellement l'indexation SEO ?
- 36:24 Pourquoi Google modifie-t-il vos titres dans les résultats de recherche ?
- 46:06 Comment Google calcule-t-il vraiment la position moyenne selon le type de résultat ?
- 48:06 Comment Google choisit-il la meilleure description pour chaque requête ?
- 49:06 Comment une URL supprimée peut-elle être réindexée sur Google ?
- 49:49 Pourquoi les paramètres d'URL externes échappent-ils à notre contrôle en SEO ?
- 50:48 Pourquoi l'utilisation de 'dateModified' pourrait-elle améliorer votre stratégie de données structurées ?
- 52:31 Les interstitiels post-navigation sont-ils vraiment sans risque SEO ?
- 52:31 Les interstitiels d'AdSense affectent-ils vraiment votre SEO ?
- 54:14 Faut-il utiliser un CDN comme Cloudflare pour le SEO ?
Official statement from
(4 years ago)
⚠ A more recent statement exists on this topic
Can robots.txt really protect your site from unwanted crawlers?
View statement →
TL;DR
Google recommends using the robots.txt file to block Googlebot from certain unwanted URLs. The main action? Stop unnecessary crawling of spammy URLs.
❓ Frequently Asked Questions
Que se passe-t-il si une URL interdite se trouve dans le sitemap ?
Il est important de synchroniser robots.txt et sitemap pour éviter toute contradiction qui pourrait affecter l'indexation.
Est-ce que robots.txt affecte d'autres moteurs de recherche ?
Oui, la plupart des moteurs respectent les directives de robots.txt, mais cela n'est pas garanti pour tous les crawlers.
Dois-je bloquer toutes les URLs avec paramètres ?
Non, évaluez chaque paramètre. Certains peuvent être essentiels pour votre SEO ou UX.
🎥 From the same video 24
Other SEO insights extracted from this same Google Search Central video · published on 21/10/2021
🎥 Watch the full video on YouTube →
💬 Comments (0)
Be the first to comment.