Jak zablokovat AI crawlery: robots.txt pro GPTBot, Claude a CCBot
Emperola Editorial · · Aktualizováno · 4 min read
TL;DR
- AI crawlery respektují robots.txt: blokujte GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, CCBot a Google-Extended podle user agenta.
- Blokujte Google-Extended, ne Googlebot, pokud chcete zůstat ve Vyhledávání Google, ale ne v tréninku Gemini.
- robots.txt je dobrovolný — vynucení zajistí jen přepínač Block AI bots v Cloudflare nebo WAF pravidlo.
- Blokace zastaví budoucí sběr, neodstraní obsah, který už byl k tréninku použitý.
AI crawlery sbírají veřejné stránky, blogy, kód a recenze a staví z nich trénovací datasety. Blokace není o tom dostat Google ven – jde o to říct botům za ChatGPT, Gemini, Claudem a Perplexity, aby zůstali stranou, zatímco Googlebot a Bingbot budou váš web indexovat normálně.
Tento návod dává kopírovatelná pravidla do robots.txt, přepínač v Cloudflare, který dělá totéž bez editace souborů, a poctivě popisuje limity obou cest.
Kteří AI crawlery existují
- GPTBot – OpenAI, trénovací data pro modely ChatGPT.
- OAI-SearchBot – OpenAI, indexace pro ChatGPT Search. Jeho blokace vyřadí web z těchto odpovědí.
- ChatGPT-User – procházení na vyžádání uživatele, ne trénink.
- Google-Extended – Google, ovládá trénink a grounding Gemini, oddělené od Googlebotu.
- ClaudeBot a anthropic-ai – Anthropic, trénovací data pro Claude.
- PerplexityBot – Perplexity, indexace a odpovídání.
- CCBot – Common Crawl, archiv, na kterém je nepřímo trénovaná řada modelů.
- Meta-ExternalAgent – Meta, trénink AI.
- Bytespider – ByteDance, jeden z nejagresivnějších crawlerů.
Rozhodují dva rozdíly. Chcete-li zůstat ve Vyhledávání Google, ale ne v tréninku Gemini, blokujte Google-Extended, ne Googlebot. A blokace GPTBot nevyřadí web z ChatGPT Search – k tomu je potřeba zablokovat i OAI-SearchBot.
Krok 1: Přidejte pravidla do robots.txt
robots.txt leží na https://vasedomena.cz/robots.txt a musí být veřejně čitelný. Seskupte AI boty a zakažte jim vše:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Bytespider
Disallow: /
Ponechte stávající blok User-agent: *. Pokud v něm už je Disallow: /, blokujete úplně všechny boty včetně vyhledávačů – to opravte nejdřív.
Krok 2: Blokujte na úrovni Cloudflare
robots.txt je prosba, ne vynucení. Pokud používáte Cloudflare, můžete request odmítnout úplně:
- Otevřete Security → Bots a zapněte Block AI bots. Zablokuje ověřené AI crawlery na edge a projeví se během minut.
- V placených tarifech přidává AI Crawl Control analytiku po botech a možnost blokovat selektivně místo plošného pravidla.
- Pro boty mimo tento seznam přidejte WAF pravidlo na user agent, například
(http.user_agent contains "GPTBot")s akcí Block.
Blokace na edge je jediná verze, kterou nelze ignorovat, protože request se k vašemu serveru vůbec nedostane.
Krok 3: WordPress a další CMS
- WordPress:
robots.txtgeneruje dynamicky, takže editace souboru nic neudělá. Přidejte pravidla filtrem:
add_filter('robots_txt', function ($output) {
$bots = ['GPTBot','OAI-SearchBot','ClaudeBot','PerplexityBot','CCBot','Google-Extended','Meta-ExternalAgent','Bytespider'];
foreach ($bots as $bot) {
$output .= "\nUser-agent: {$bot}\nDisallow: /\n";
}
return $output;
}, 20);
- Statické weby (Astro, Hugo, Next): upravte
robots.txtve složce public. - Shopify, Wix, Squarespace: ověřte, zda platforma povoluje vlastní
robots.txt; pokud ne, použijte DNS nebo CDN vrstvu.
Krok 4: Zkontrolujte logy serveru
Po dvou až čtyřech týdnech profiltrujte přístupový log na GPTBot, ClaudeBot, CCBot a PerplexityBot. Sledujete dvě věci: zda stále chodí (známka, že se pravidla neuplatňují) a zda se něco nerozbilo pro Googlebot nebo Bingbot.
Common Crawl stojí za poznámku: jeho snapshoty se používají roky, takže blokace CCBot dnes ovlivní jen budoucí sběr. Starší obsah už v archivu je.
Co robots.txt neumí
- Je dobrovolný. OpenAI, Google i Anthropic ho respektují; provozovatelé scraperů, kteří user agenta nepublikují, ho prostě ignorují.
- Nesmaže sebraná data. Odhlášení zastaví budoucí sběr, ne to, co už je v datasetu.
- Nezastaví podvrhování identity. Scraper může poslat user agenta běžného prohlížeče a seznam obejít.
- Nepokrývá rozšíření prohlížeče, která stahují stránky za uživatele.
Proto je praktická kombinace: robots.txt pro slušné boty, blokace na edge pro ostatní a minimum veřejných dat jako skutečná ochrana. Pokud jde o vaše vlastní data, ne o web, začněte u odstranění osobních údajů z internetu a u návodu k AI scrapingu; pokud chcete méně sledování obecně, podívejte se na srovnání soukromých prohlížečů.
Časté otázky
Odstraní blokace GPTBot moje data z ChatGPT?
Ne. Blokace zastaví budoucí sběr; modely natrénované na vašem obsahu si naučené ponechají. Pro odstranění konkrétních osobních údajů je potřeba žádost o výmaz podle GDPR nebo formulář poskytovatele, a i tak je odstranění z vah modelu omezené.
Jaký je rozdíl mezi Googlebotem a Google-Extended?
Googlebot indexuje stránky pro Vyhledávání Google. Google-Extended je samostatný přepínač, který rozhoduje, zda se obsah smí použít k tréninku modelů Gemini. Můžete zablokovat Google-Extended a zůstat plně indexovaní.
Respektuje ChatGPT robots.txt?
Publikované crawlery OpenAI ano – GPTBot pro trénink a OAI-SearchBot pro vyhledávání. Proto jsou oddělené: blokace jednoho neovlivní druhé.
Blokuje Cloudflare AI boty ve výchozím nastavení?
Ne. Přepínač Block AI bots je opt-in a pokrývá jen ověřené crawlery. Neověřené scrapery potřebují WAF pravidlo, rate limiting nebo bot management.
Můžu AI crawlery zablokovat bez editace robots.txt?
Ano – přes blokaci AI botů v Cloudflare, WAF pravidlo nebo ovládání botů u poskytovatele hostingu. Editace robots.txt má ale smysl dál: je to jediný signál, o kterém dokumentace všech poskytovatelů tvrdí, že ho čtou.
FAQ
Odstraní blokace GPTBot moje data z ChatGPT?
Ne. Blokace zastaví budoucí sběr; modely natrénované na vašem obsahu si naučené ponechají. Pro odstranění konkrétních osobních údajů je potřeba žádost o výmaz podle GDPR nebo formulář poskytovatele, a i tak je odstranění z vah modelu omezené.
Jaký je rozdíl mezi Googlebotem a Google-Extended?
Googlebot indexuje stránky pro Vyhledávání Google. Google-Extended je samostatný přepínač, který rozhoduje, zda se obsah smí použít k tréninku modelů Gemini. Můžete zablokovat Google-Extended a zůstat plně indexovaní.
Respektuje ChatGPT robots.txt?
Publikované crawlery OpenAI ano – GPTBot pro trénink a OAI-SearchBot pro vyhledávání. Proto jsou oddělené: blokace jednoho neovlivní druhé.
Blokuje Cloudflare AI boty ve výchozím nastavení?
Ne. Přepínač **Block AI bots** je opt-in a pokrývá jen ověřené crawlery. Neověřené scrapery potřebují WAF pravidlo, rate limiting nebo bot management.
Můžu AI crawlery zablokovat bez editace robots.txt?
Ano – přes blokaci AI botů v Cloudflare, WAF pravidlo nebo ovládání botů u poskytovatele hostingu. Editace `robots.txt` má ale smysl dál: je to jediný signál, o kterém dokumentace všech poskytovatelů tvrdí, že ho čtou.