Cloudflare nově třídí AI boty do tří kategorií a Googlebot mezi ně může omylem spadnout
Dřívější volba Block AI bots brala AI boty jako jednu skupinu. Od 1. července Cloudflare přidal tři samostatná nastavení a jejich volba může mít větší dopad, než se na první pohled zdá.
Search, Agent, Training
Search jsou boty, které indexují obsah, aby pak mohly odpovídat na otázky o něm. Agent boty jednají v reálném čase jménem uživatele, například chat, který si načte stránku, nebo prohlížečový agent. Training boty sbírají obsah, aby se na něm modely trénovaly nebo dále dolaďovaly.
U každé kategorie si lze vybrat jednu ze tří možností: blokovat na všech stránkách, blokovat pouze na stránkách s reklamou, nebo neblokovat vůbec. Volby jsou dostupné ve všech tarifech včetně bezplatného. Podle oznámení Cloudflare se od 15. září u nových domén ve výchozím nastavení blokují Training a Agent na stránkách s reklamou, zatímco Search zůstává povolen. Některé přehledy třetích stran uvádějí, že stejné výchozí hodnoty platí i pro stávající bezplatné účty, které nastavení nezměnily, ačkoli samotné oznámení zmiňuje pouze nové domény.
Googlebot se do toho může zamotat
Nejsložitější jsou crawlery, které plní více funkcí najednou. Googlebot, Applebot a Bingbot jednak indexují weby pro vyhledávání, jednak sbírají data využívaná pro trénování. Cloudflare uvádí, že od 15. září mohou být takové crawlery blokovány u zákazníků, kteří mají zapnuté blokování Training, i když je Search povolen.
Cloudflare to používá jako argument pro to, aby firmy oddělovaly crawlery podle účelu, a ve svém červencovém reportu zvlášť zmiňuje Google, který používá jednoho crawlera pro více účelů. Majitelé webů mohli změnu odmítnout do 15. září tím, že v nastavení zabezpečení uvedli, že nechtějí měnit chování vůči Training crawlerům, které zároveň slouží pro Search. Pokud web žije z reklamy nebo organické návštěvnosti, vyplatí se otevřít nastavení zóny a zkontrolovat, co je tam nastaveno právě teď.
Proč robots.txt není ochrana
Robots.txt je dohoda z roku 1994 a nikdo není povinen ji dodržovat. V srpnu 2025 Cloudflare popsal, jak Perplexity po zablokování svých deklarovaných crawlerů dál navštěvovala weby pomocí crawleru, který se vydával za Chrome na macOS. Cloudflare odhadl jeho provoz na 3 až 6 milionů požadavků denně vedle 20 až 25 milionů požadavků od deklarovaného crawleru. Perplexity následně vyřadil ze seznamu ověřených botů a přidal pravidla, která neoznačené procházení blokují. Cloudflare však podobnou ochranu zároveň prodává, takže jeho závěry je dobré číst i s tímto kontextem.
Kolik tohoto provozu je
Podle dat Cloudflare z června 2026 připadá 52 % požadavků crawlerů na trénování modelů, zatímco na jaře 2025 to bylo 22 %. Více než třetinu tvoří boti se smíšeným účelem, čisté vyhledávání představuje malý a klesající podíl a více než polovinu veškerého internetového provozu dnes netvoří lidé.
U webu se službami bez reklamy je volba pravděpodobně jednoduchá: Search nechte povolený a o zbytku rozhodněte podle potřeby. Vydavatelé, kteří žijí z reklamy, mají víc co ztratit a špatné nastavení je může stát návštěvnost z Googlu. Začali bychom u serverových logů, protože než cokoli zablokujete, je užitečné vidět, kdo na web skutečně chodí.
