Ce que dit Google sur « disallow »

🎥 Vidéos YouTube 10

Pourquoi robots.txt disallow peut-il indexer vos URLs sans que vous puissiez rien y faire ?

Gary Illyes 🎥 YouTube 04/08/2022 ★★★

Si une page bloquée par robots.txt disallow est très populaire sur internet, Google peut indexer l'URL sans le contenu. Le résultat apparaît...

Faut-il vraiment préférer noindex à disallow pour contrôler l'indexation ?

John Mueller 🎥 YouTube 28/03/2022 ★★★

Si ce sont des pages que vous ne voulez pas indexer, utiliser noindex serait mieux que disallow dans robots.txt. Le noindex est une balise m...

Comment bloquer définitivement Googlebot de votre site ?

Gary Illyes 🎥 YouTube 07/06/2023 ★★

Pour bloquer Googlebot de manière permanente, ajoutez une règle disallow / pour l'user-agent Googlebot dans robots.txt. Pour bloquer l'accès...

Robots.txt en disallow bloque-t-il vraiment la génération de snippets dans les SERP ?

Martin Splitt 🎥 YouTube 10/01/2023 ★★★

Si Google ne peut pas crawler le site à cause d'une directive disallow dans robots.txt, il ne peut pas générer de snippet car il ne connaît ...

Un robots.txt mal configuré peut-il vraiment bloquer vos snippets et votre crawl ?

Jason Stevens 🎥 YouTube 10/01/2023 ★★

En supprimant une directive disallow incorrecte du robots.txt, les requêtes de crawl remontent, le trafic revient et les snippets redevienne...

Comment tirer parti du fichier robots.txt pour optimiser le crawl de votre site ?

Gary Illyes 🎥 YouTube 09/09/2021 ★★★

Le fichier robots.txt est utile pour gérer le budget de crawl. Si vous avez une section de votre site que vous jugez peu utile ou des patter...

Comment les directives spécifiques dans le fichier robots.txt influencent-elles le référencement ?

Google 🎥 YouTube 14/07/2022 ★★★

Dans robots.txt, quand il existe à la fois une directive générale (User-agent: *) et une directive spécifique pour Googlebot, c'est la direc...

Pourquoi choisir entre robots.txt et noindex pour optimiser le crawl budget?

Google 🎥 YouTube 27/05/2021 ★★

Pour contrôler le crawl budget, robots.txt (disallow) est plus efficace car empêche le crawl dès l'URL. Le noindex nécessite un crawl pour ê...

Pourquoi un fichier robots.txt vide peut-il sauver votre crawl budget ?

Google 🎥 YouTube 19/08/2011 ★★★

Il est recommandé d'avoir un fichier robots.txt, même s'il est vide ou qu'il indique simplement 'user-agent: * disallow:', pour éviter des c...

Faut-il vraiment expliciter les directives dans robots.txt ou le laisser vide ?

Google 🎥 YouTube 19/08/2011 ★★

Bien qu'un fichier robots.txt vide soit interprété de la même manière qu'un fichier spécifiant 'user-agent: * disallow:', il est un peu plus...

📰 Articles 6

Faut-il vraiment éviter de combiner noindex, canonical et disallow sur une même page ?

John Mueller 23/07/2018 ★★★

John Mueller, sur Reddit cette fois, a indiqué que les balises Canonical et meta robots "noindex" (tout comme les Disallow: dans le fichier ...

Faut-il interdire le crawl du fichier robots.txt dans le robots.txt lui-même ?

John Mueller 02/07/2018 ★★★

Toujours John Mueller qui a expliqué sur Twitter qu'il était vain d'interdire aux moteurs de crawler le fichier robots.txt en mettant un "Di...

Faut-il revoir votre fichier robots.txt maintenant que Google limite les directives à 4 champs ?

Google 15/10/2024 ★★★

Google a mis à jour sa politique concernant le fichier robots.txt, précisant qu'il ne prend en charge que quatre champs : « user-agent », « ...

Pourquoi Google indexe-t-il parfois des pages bloquées par le fichier robots.txt ?

John Mueller 10/09/2024 ★★★

 John Mueller a expliqué qu’il pouvait arriver que certaines pages bloquées, typiquement par un noindex, soient tout de même indexées par Go...

Faut-il bloquer les pages de résultats de recherche interne de votre site ?

John Mueller 25/04/2023 ★★★

Sur Reddit, John Mueller a écrit “Si vous ne pouvez pas sélectionner les pages de résultats de recherche internes qui devraient être indexab...

Faut-il bloquer le crawl dans le robots.txt pour désindexer rapidement un site ?

John Mueller 19/12/2022 ★★★

John Mueller a indiqué sur Reddit que le simple fait d'interdire le crawl d'un site via le robots.txt (directive Disallow: /) n'était pas la...