Jak zablokovat AI crawlery: robots.txt pro GPTBot, Claude a CCBot

Jak zablokovat AI crawlery: robots.txt pro GPTBot, Claude a CCBot

Emperola Editorial · · Aktualizováno · 4 min read

TL;DR

  • AI crawlery respektují robots.txt: blokujte GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, CCBot a Google-Extended podle user agenta.
  • Blokujte Google-Extended, ne Googlebot, pokud chcete zůstat ve Vyhledávání Google, ale ne v tréninku Gemini.
  • robots.txt je dobrovolný — vynucení zajistí jen přepínač Block AI bots v Cloudflare nebo WAF pravidlo.
  • Blokace zastaví budoucí sběr, neodstraní obsah, který už byl k tréninku použitý.

AI crawlery sbírají veřejné stránky, blogy, kód a recenze a staví z nich trénovací datasety. Blokace není o tom dostat Google ven – jde o to říct botům za ChatGPT, Gemini, Claudem a Perplexity, aby zůstali stranou, zatímco Googlebot a Bingbot budou váš web indexovat normálně.

Tento návod dává kopírovatelná pravidla do robots.txt, přepínač v Cloudflare, který dělá totéž bez editace souborů, a poctivě popisuje limity obou cest.

Kteří AI crawlery existují

  • GPTBot – OpenAI, trénovací data pro modely ChatGPT.
  • OAI-SearchBot – OpenAI, indexace pro ChatGPT Search. Jeho blokace vyřadí web z těchto odpovědí.
  • ChatGPT-User – procházení na vyžádání uživatele, ne trénink.
  • Google-Extended – Google, ovládá trénink a grounding Gemini, oddělené od Googlebotu.
  • ClaudeBot a anthropic-ai – Anthropic, trénovací data pro Claude.
  • PerplexityBot – Perplexity, indexace a odpovídání.
  • CCBot – Common Crawl, archiv, na kterém je nepřímo trénovaná řada modelů.
  • Meta-ExternalAgent – Meta, trénink AI.
  • Bytespider – ByteDance, jeden z nejagresivnějších crawlerů.

Rozhodují dva rozdíly. Chcete-li zůstat ve Vyhledávání Google, ale ne v tréninku Gemini, blokujte Google-Extended, ne Googlebot. A blokace GPTBot nevyřadí web z ChatGPT Search – k tomu je potřeba zablokovat i OAI-SearchBot.

Krok 1: Přidejte pravidla do robots.txt

robots.txt leží na https://vasedomena.cz/robots.txt a musí být veřejně čitelný. Seskupte AI boty a zakažte jim vše:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Bytespider
Disallow: /

Ponechte stávající blok User-agent: *. Pokud v něm už je Disallow: /, blokujete úplně všechny boty včetně vyhledávačů – to opravte nejdřív.

Krok 2: Blokujte na úrovni Cloudflare

robots.txt je prosba, ne vynucení. Pokud používáte Cloudflare, můžete request odmítnout úplně:

  1. Otevřete Security → Bots a zapněte Block AI bots. Zablokuje ověřené AI crawlery na edge a projeví se během minut.
  2. V placených tarifech přidává AI Crawl Control analytiku po botech a možnost blokovat selektivně místo plošného pravidla.
  3. Pro boty mimo tento seznam přidejte WAF pravidlo na user agent, například (http.user_agent contains "GPTBot") s akcí Block.

Blokace na edge je jediná verze, kterou nelze ignorovat, protože request se k vašemu serveru vůbec nedostane.

Krok 3: WordPress a další CMS

  • WordPress: robots.txt generuje dynamicky, takže editace souboru nic neudělá. Přidejte pravidla filtrem:
add_filter('robots_txt', function ($output) {
    $bots = ['GPTBot','OAI-SearchBot','ClaudeBot','PerplexityBot','CCBot','Google-Extended','Meta-ExternalAgent','Bytespider'];
    foreach ($bots as $bot) {
        $output .= "\nUser-agent: {$bot}\nDisallow: /\n";
    }
    return $output;
}, 20);
  • Statické weby (Astro, Hugo, Next): upravte robots.txt ve složce public.
  • Shopify, Wix, Squarespace: ověřte, zda platforma povoluje vlastní robots.txt; pokud ne, použijte DNS nebo CDN vrstvu.

Krok 4: Zkontrolujte logy serveru

Po dvou až čtyřech týdnech profiltrujte přístupový log na GPTBot, ClaudeBot, CCBot a PerplexityBot. Sledujete dvě věci: zda stále chodí (známka, že se pravidla neuplatňují) a zda se něco nerozbilo pro Googlebot nebo Bingbot.

Common Crawl stojí za poznámku: jeho snapshoty se používají roky, takže blokace CCBot dnes ovlivní jen budoucí sběr. Starší obsah už v archivu je.

Co robots.txt neumí

  • Je dobrovolný. OpenAI, Google i Anthropic ho respektují; provozovatelé scraperů, kteří user agenta nepublikují, ho prostě ignorují.
  • Nesmaže sebraná data. Odhlášení zastaví budoucí sběr, ne to, co už je v datasetu.
  • Nezastaví podvrhování identity. Scraper může poslat user agenta běžného prohlížeče a seznam obejít.
  • Nepokrývá rozšíření prohlížeče, která stahují stránky za uživatele.

Proto je praktická kombinace: robots.txt pro slušné boty, blokace na edge pro ostatní a minimum veřejných dat jako skutečná ochrana. Pokud jde o vaše vlastní data, ne o web, začněte u odstranění osobních údajů z internetu a u návodu k AI scrapingu; pokud chcete méně sledování obecně, podívejte se na srovnání soukromých prohlížečů.

Časté otázky

Odstraní blokace GPTBot moje data z ChatGPT?

Ne. Blokace zastaví budoucí sběr; modely natrénované na vašem obsahu si naučené ponechají. Pro odstranění konkrétních osobních údajů je potřeba žádost o výmaz podle GDPR nebo formulář poskytovatele, a i tak je odstranění z vah modelu omezené.

Jaký je rozdíl mezi Googlebotem a Google-Extended?

Googlebot indexuje stránky pro Vyhledávání Google. Google-Extended je samostatný přepínač, který rozhoduje, zda se obsah smí použít k tréninku modelů Gemini. Můžete zablokovat Google-Extended a zůstat plně indexovaní.

Respektuje ChatGPT robots.txt?

Publikované crawlery OpenAI ano – GPTBot pro trénink a OAI-SearchBot pro vyhledávání. Proto jsou oddělené: blokace jednoho neovlivní druhé.

Blokuje Cloudflare AI boty ve výchozím nastavení?

Ne. Přepínač Block AI bots je opt-in a pokrývá jen ověřené crawlery. Neověřené scrapery potřebují WAF pravidlo, rate limiting nebo bot management.

Můžu AI crawlery zablokovat bez editace robots.txt?

Ano – přes blokaci AI botů v Cloudflare, WAF pravidlo nebo ovládání botů u poskytovatele hostingu. Editace robots.txt má ale smysl dál: je to jediný signál, o kterém dokumentace všech poskytovatelů tvrdí, že ho čtou.

FAQ

Odstraní blokace GPTBot moje data z ChatGPT?

Ne. Blokace zastaví budoucí sběr; modely natrénované na vašem obsahu si naučené ponechají. Pro odstranění konkrétních osobních údajů je potřeba žádost o výmaz podle GDPR nebo formulář poskytovatele, a i tak je odstranění z vah modelu omezené.

Jaký je rozdíl mezi Googlebotem a Google-Extended?

Googlebot indexuje stránky pro Vyhledávání Google. Google-Extended je samostatný přepínač, který rozhoduje, zda se obsah smí použít k tréninku modelů Gemini. Můžete zablokovat Google-Extended a zůstat plně indexovaní.

Respektuje ChatGPT robots.txt?

Publikované crawlery OpenAI ano – GPTBot pro trénink a OAI-SearchBot pro vyhledávání. Proto jsou oddělené: blokace jednoho neovlivní druhé.

Blokuje Cloudflare AI boty ve výchozím nastavení?

Ne. Přepínač **Block AI bots** je opt-in a pokrývá jen ověřené crawlery. Neověřené scrapery potřebují WAF pravidlo, rate limiting nebo bot management.

Můžu AI crawlery zablokovat bez editace robots.txt?

Ano – přes blokaci AI botů v Cloudflare, WAF pravidlo nebo ovládání botů u poskytovatele hostingu. Editace `robots.txt` má ale smysl dál: je to jediný signál, o kterém dokumentace všech poskytovatelů tvrdí, že ho čtou.

Sdílet na

Související články