Official statement
When standardizing robots.txt, Google expanded the language to accept URIs (not just URLs) to avoid creating new crawling control mechanisms for every new type of URI that might emerge on the internet. This includes, for example, deep links from app indexing.
Other statements from this video 13 ▾
- □ Pourquoi les SEO doivent-ils encore maîtriser le HTML aujourd'hui ?
- □ Pourquoi le HTML est-il essentiel pour un SEO efficace ?
- □ Pourquoi la maîtrise du JavaScript devient-elle cruciale pour les SEO ?
- □ Est-ce que les URLs sont vraiment intouchables dans le SEO ?
- □ Pourquoi le rel canonical reste-t-il crucial pour le SEO aujourd'hui?
- □ Pourquoi Google freine-t-il l'ajout de nouvelles balises meta en SEO?
- □ Pourquoi les données structurées sont-elles cruciales pour le contrôle SEO ?
- □ Les données structurées deviendront-elles obsolètes pour le SEO ?
- □ Pourquoi Google mise-t-il sur un crawl intelligent plutôt que sur le push ?
- □ Pourquoi les liens restent-ils incontournables pour le SEO ?
- □ Faut-il surveiller le contenu généré par machine pour éviter des pénalités SEO ?
- □ Pourquoi les attributs alt sont-ils essentiels pour le SEO d’images ?
- □ La recherche vocale va-t-elle réellement transformer le SEO tel qu'on le connaît ?
Official statement from
(4 years ago)
⚠ A more recent statement exists on this topic
Why do so many SEO professionals still confuse robots.txt and no-index? Here's w...
View statement →
TL;DR
Google now uses URIs in robots.txt to avoid creating new mechanisms for each new type of URI. This directly impacts the management of resources to ignore in app indexing.
❓ Frequently Asked Questions
Pourquoi Google inclut-il les URI dans robots.txt ?
Pour éviter de créer des mécanismes distincts à chaque nouvelle apparition de type d'URI et renforcer la gestion globale des règles de crawl.
Les URI impactent-ils le référencement naturel ?
Potentiellement oui, car ils permettent une gestion plus fine du crawl budget et influence implicitement l'indexation générale.
Dois-je revoir mon fichier robots.txt avec cette mise à jour ?
Oui, il est recommandé de vérifier que les URI pertinents sont inclus ou exclus selon votre stratégie de contenu.
🎥 From the same video 13
Other SEO insights extracted from this same Google Search Central video · published on 11/11/2021
🎥 Watch the full video on YouTube →
💬 Comments (0)
Be the first to comment.