What Google says about « directive robots »

🎥 YouTube Videos 13

How do specific directives in the robots.txt file affect your SEO?

Google 🎥 YouTube Jul 2022 ★★★

Dans robots.txt, quand il existe à la fois une directive générale (User-agent: *) et une directive spécifique pour Googlebot, c'est la direc...

Should you really declare your XML sitemap in the robots.txt file?

Martin Splitt 🎥 YouTube Dec 2024 ★★

Vous pouvez utiliser la directive 'sitemap' dans votre fichier robots.txt pour indiquer aux robots l'emplacement de votre sitemap XML, facil...

What's the safest way to prevent Google from crawling your PDFs without accidentally getting them indexed?

Google 🎥 YouTube Mar 2025 ★★★

Pour bloquer les fichiers PDF du crawl, la meilleure pratique est d'utiliser l'en-tête HTTP X-Robots-Tag avec la directive noindex. Si cette...

Should you block Google from caching your pages with the noarchive directive?

John Mueller 🎥 YouTube Jun 2023 ★★★

Si vous ne souhaitez pas que vos pages soient mises en cache par Google, vous pouvez utiliser la directive robots 'noarchive' pour empêcher ...

Is it true that robots.txt doesn't really protect your pages from Google indexing?

Daniel Waisberg 🎥 YouTube Oct 2020 ★★★

Robots.txt n'est pas la meilleure méthode pour éviter l'indexation. Google peut indexer des pages bloquées par robots.txt. Pour bloquer l'in...

Why do JavaScript and meta robots tags create an indexing nightmare?

Google 🎥 YouTube Apr 2021 ★★★

Si une page se charge avec une directive noindex dans la balise meta robots avant le rendu, Google et d'autres moteurs ne vont pas exécuter ...

Why does blocking crawl via robots.txt prevent Google from seeing your noindex directive?

Martin Splitt 🎥 YouTube Dec 2023 ★★★

Si vous bloquez le crawl d'URLs via robots.txt, Googlebot ne peut pas faire de requête vers ces URLs et ne voit donc pas la directive noinde...

Does a robots.txt disallow directive really block snippet generation in search results?

Martin Splitt 🎥 YouTube Jan 2023 ★★★

Si Google ne peut pas crawler le site à cause d'une directive disallow dans robots.txt, il ne peut pas générer de snippet car il ne connaît ...

Can a misconfigured robots.txt really kill your snippets and crawl traffic?

Jason Stevens 🎥 YouTube Jan 2023 ★★

En supprimant une directive disallow incorrecte du robots.txt, les requêtes de crawl remontent, le trafic revient et les snippets redevienne...

Should you really control your snippet length with max-snippet?

John Mueller 🎥 YouTube Sep 2022 ★★

Si vous souhaitez limiter la longueur du snippet qui apparaît dans les résultats de recherche, vous pouvez utiliser la balise meta robots av...

Can JavaScript really change a noindex meta robots tag after the fact?

Google 🎥 YouTube Apr 2021 ★★★

Si une page se charge avec une directive noindex dans les meta robots tags avant le rendu, Google Search et potentiellement d'autres moteurs...

Is it true that Google ignores JavaScript rendering if your noindex tag appears in the initial HTML?

Martin Splitt 🎥 YouTube Nov 2020 ★★★

Si une page contient une balise meta robots noindex dans le HTML initial, Google ne rendra pas la page, même si JavaScript modifierait ensui...

Is it possible for Google to index Instagram despite its restrictive robots.txt?

Google 🎥 YouTube Jul 2022 ★★

Contrairement à ce que suggère une lecture rapide du robots.txt d'Instagram, Google peut indexer certaines parties du site. Le robots.txt co...

📰 Articles 7

Should you use the noindex directive in your robots.txt file?

John Mueller Mar 2024 ★★★

Sur LinkedIn, John Mueller a révélé qu’il y avait eu des discussions internes chez Google sur la possibilité d’autoriser la directive noinde...

Should You Block Your Site's Internal Search Result Pages?

John Mueller Apr 2023 ★★★

Sur Reddit, John Mueller a écrit “Si vous ne pouvez pas sélectionner les pages de résultats de recherche internes qui devraient être indexab...

Can Anti-Bot Protection Accidentally Trigger Noindex on Your Site?

John Mueller Jan 2024 ★★★

Sur X, John Mueller a déclaré que les mesures de protection prises contre les robots au niveau du serveur pouvaient parfois déclencher une d...

Can You Really Use a Single robots.txt File to Declare Sitemaps for Multiple Different Domains?

John Mueller May 2018 ★★★

Toujours John Mueller et toujours Twitter avec le fait qu'un fichier robots.txt qui serait identique et partagé par plusieurs sites web cont...

Why Does a Noindex,Follow Page Eventually Become Noindex,Nofollow?

John Mueller Jan 2018 ★★★

John Mueller a indiqué dans un hangout qu'une directive "noindex,follow" dans la balise meta "robots" sera à la longue considérée comme une ...

Should You Use a Noindex Header to Protect Your llms.txt Files from Google Indexing?

John Mueller Jul 2025 ★★

John Mueller a répondu à une question portant sur les fichiers llms.txt et leur potentiel impact en tant que contenu dupliqué. Il a expliqué...

Could Your CDN Be Triggering Noindex Errors in Search Console?

John Mueller Mar 2025 ★★★

Sur Reddit, John Mueller a apporté son point de vue sur les erreurs « noindex detected in X-Robots-Tag HTTP header » signalées dans la Googl...