What Google says about « directive crawl »

🎥 YouTube Videos 11

Does Googlebot really ignore the crawl-delay directive in your robots.txt?

Google 🎥 YouTube Dec 2017 ★★★

Googlebot n'utilise pas la directive 'crawl-delay' des fichiers robots.txt, car elle est peu efficace avec les serveurs modernes qui peuvent...

Does Googlebot really ignore the crawl-delay directive in your robots.txt?

Google 🎥 YouTube Dec 2017 ★★★

Googlebot n'interprète pas la directive crawl-delay dans les fichiers robots.txt, car les serveurs sont suffisamment dynamiques pour gérer p...

Does Google really support the crawl-delay directive in robots.txt?

John Mueller 🎥 YouTube May 2014 ★★★

Google n'a jamais pris en charge la directive 'crawl-delay' du fichier robots.txt. Pour gérer la fréquence de crawl, les webmasters peuvent ...

Why does Google ignore the crawl-delay directive in robots.txt?

John Mueller 🎥 YouTube May 2014 ★★★

Google n'a jamais supporté la directive 'crawl-delay' dans le fichier robots.txt en raison de sa non-fiabilité. Les webmasters peuvent toute...

Why does blocking crawl via robots.txt prevent Google from seeing your noindex directive?

Martin Splitt 🎥 YouTube Dec 2023 ★★★

Si vous bloquez le crawl d'URLs via robots.txt, Googlebot ne peut pas faire de requête vers ces URLs et ne voit donc pas la directive noinde...

Can a misconfigured robots.txt really kill your snippets and crawl traffic?

Jason Stevens 🎥 YouTube Jan 2023 ★★

En supprimant une directive disallow incorrecte du robots.txt, les requêtes de crawl remontent, le trafic revient et les snippets redevienne...

What's the safest way to prevent Google from crawling your PDFs without accidentally getting them indexed?

Google 🎥 YouTube Mar 2025 ★★★

Pour bloquer les fichiers PDF du crawl, la meilleure pratique est d'utiliser l'en-tête HTTP X-Robots-Tag avec la directive noindex. Si cette...

Is Google truly ignoring the crawl-delay directive in your robots.txt?

John Mueller 🎥 YouTube Aug 2015 ★★★

Google n'honore pas la directive de crawl-delay dans le fichier robots.txt, contrairement à certains autres moteurs de recherche comme Bing....

Why does blocking robots.txt prevent noindex from working?

John Mueller 🎥 YouTube Oct 2020 ★★★

Il ne faut pas bloquer dans robots.txt les URLs en noindex, car cela empêche Google de voir la directive noindex et ces pages peuvent rester...

Is it true that robots.txt doesn't really protect your pages from Google indexing?

Daniel Waisberg 🎥 YouTube Oct 2020 ★★★

Robots.txt n'est pas la meilleure méthode pour éviter l'indexation. Google peut indexer des pages bloquées par robots.txt. Pour bloquer l'in...

Should you really ignore noindex settings for your JS and CSS files?

Martin Splitt 🎥 YouTube Jun 2020 ★★★

Ajouter une directive noindex dans les en-têtes HTTP des fichiers JavaScript ou CSS n'est généralement pas nécessaire car ils ne sont normal...

📰 Articles 1

Should You Block Crawling in Robots.txt to Quickly Deindex a Site?

John Mueller Dec 2022 ★★★

John Mueller a indiqué sur Reddit que le simple fait d'interdire le crawl d'un site via le robots.txt (directive Disallow: /) n'était pas la...