Official statement
The robots.txt file uses exact URLs. If you have entries that refer to a specific version of a URL, they will not apply to other versions of that URL.
Other statements from this video 6 ▾
- □ Pourquoi les URLs sont-elles sensibles à la casse et pourquoi cela compte-t-il pour le SEO ?
- □ Faut-il craindre les variantes d'URL pour le crawl ?
- □ Comment la canonicalisation des URLs en double impacte-t-elle votre SEO ?
- □ Comment le maillage interne peut-il influencer votre stratégie SEO ?
- □ Comment le canonical influence-t-il vraiment votre SEO ?
- □ Faut-il vraiment se soucier de la casse dans les URLs pour le SEO ?
Official statement from
(4 years ago)
⚠ A more recent statement exists on this topic
Should You Create an LLMs.txt File for Your Website in 2024?
View statement →
TL;DR
The robots.txt file uses **exact URLs**. This means that an entry for a specific version of a URL will not apply to other versions. Be sure to check each variant of the URL.
❓ Frequently Asked Questions
Que se passe-t-il si une URL est majuscule ?
Si les URL majuscules ne sont pas precisement indiquees, elles ne seront pas interpretees par le fichier robots.txt.
Le fichier robots.txt doit-il etre modifie regulierement ?
Oui, il doit etre revu lors de changements structurels pour assurer que les nouvelles URLs sont correctement incluses.
Les caracteres speciaux sont-ils pris en compte ?
Les caracteres speciaux sont distingues et traites precisement, comme toute URL differente.
🎥 From the same video 6
Other SEO insights extracted from this same Google Search Central video · published on 28/09/2021
🎥 Watch the full video on YouTube →
💬 Comments (0)
Be the first to comment.