Správa AI crawlerov: kríza súladu a podniková stratégia

AI crawlery pristupujú k webu inak ako klasický bot vyhľadávača. Sťahujú celé bázy znalostí, často bez toho, aby na oplátku posielali návštevníkov. Pre B2B firmy v regióne DACH z toho vzniká dvojitý problém: na jednej strane záťaž infraštruktúry bez prínosu v podobe návštevnosti z odkazov (referral), na druhej strane strata kontroly nad vlastným obsahom. Správa AI crawlerov je disciplína, ktorá riadi oboje. Otázka už neznie, či bot smie pristupovať. Rozhoduje, ktorý bot pristupuje, na aký účel a ako sa rozhodnutie technicky presadí a právne zabezpečí.

Prečo sa správa AI crawlerov v roku 2026 stáva povinnou disciplínou

Používanie generatívnej AI už nie je okrajový jav. Na svete je dnes 2,42 miliardy aktívnych používateľov nástrojov generatívnej AI, o 141 % viac ako pred rokom. V Nemecku podľa Bitkomu už AI používa 57 % firiem s 20 a viac zamestnancami, rok predtým to bolo 36 %. Modely za týmito AI nástrojmi sa trénujú na dátach a čoraz väčšia časť z nich pochádza z otvoreného webu.

Profil záťaže sa tým posunul. Wikimedia Foundation uvádza, že od januára 2024 vzrástla šírka pásma pre multimediálny obsah o 50 % a najmenej 65 % tejto prevádzky náročnej na zdroje pochádza od botov, hoci boty tvoria len asi 35 % zobrazení stránok. Crawlery teda spôsobujú neúmerne vysoké náklady, pretože vo veľkom počte načítavajú aj zriedka navštevované stránky, a tým obchádzajú cache.

Druhým faktorom je chýbajúca protihodnota. Podľa Cloudflare pripadalo za posledných dvanásť mesiacov 80 % AI crawlingu na tréning, 18 % na vyhľadávanie a len 2 % na priame akcie používateľov. Väčšina prístupov teda slúži na trénovanie modelov, nie na získavanie návštevnosti z odkazov. Strategická otázka sa tým presúva od samotnej viditeľnosti k riadiacemu rozhodnutiu pre každý typ bota.

Taxonómia AI crawlerov: rozlíšenie rozhoduje o stratégii

Paušálne pravidlo na blokovanie alebo povolenie je odborne nesprávne, pretože AI crawlery nesledujú rovnaký účel. Treba rozlišovať tri kategórie.

• Tréningové boty: GPTBot (OpenAI), ClaudeBot (Anthropic) a CCBot (Common Crawl) zbierajú obsah na trénovanie jazykových modelov. Prístup tu spravidla neprinesie priameho návštevníka, iba nakŕmi model. Je to kategória s najhorším pomerom záťaže a úžitku.
• Vyhľadávacie boty: OAI-SearchBot (OpenAI) a PerplexityBot indexujú obsah pre odpoveďové systémy založené na AI. Kto ich zablokuje, riskuje, že zmizne z generatívnych výsledkov vyhľadávania. Táto kategória je pákou relevantnou pre GEO, teda pre viditeľnosť v odpovediach AI.
• Boty používateľských akcií (user action): ChatGPT-User a podobní agenti načítajú stránku, pretože si ju konkrétny používateľ vyžiadal v prompte. Tieto prístupy vyvoláva používateľ a majú najbližšie ku klasickému kliknutiu.

Ekonomickú logiku tohto rozdelenia ukazuje pomer crawl-to-refer. V júli 2025 bol podľa Cloudflare pri spoločnosti Anthropic približne 38 066 : 1, pri OpenAI 1 091 : 1 a pri Google 5,4 : 1. Anthropic teda crawloval desaťtisíce stránok na každého návštevníka, ktorého priviedol späť na web, zatiaľ čo Google funguje takmer v rovnováhe. Kto rozhoduje pre každého bota zvlášť, nie paušálne, môže obmedziť záťaž z tréningu a cielene povoliť prístupy na vyhľadávanie.

Správne nastavenie robots.txt pre AI a jeho hranice

Súbor robots.txt zostáva prvým a najdôležitejším bodom riadenia, pretože rozlišuje podľa User-Agenta. Čistá konfigurácia oslovuje každého relevantného bota samostatne namiesto plošného bloku so zástupným znakom (wildcard), ktorý zasiahne aj vyhľadávacie boty.

```
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /
```

Takéto rozlíšenie je dnes bežné: necelých 21 % z top 1000 webov má podľa dát HTTP Archive z júla 2025 vo svojom robots.txt pravidlá pre GPTBot. Doplnkom je súbor llms.txt, prehľad v Markdowne, ktorý AI systémom ukazuje, ktorý obsah majú prednostne používať. Je to informačný súbor, nie ochrana prístupu ani výhrada použitia.

Rozhodujúci bod: robots.txt je čisto dobrovoľný protokol. Neexistuje žiadne technické vynútenie. Kto ho nedodržiava, toho nič nezastaví, nanajvýš ho niekto zdokumentuje. Práve v tom spočíva riziko v oblasti súladu (compliance), ktoré vyvolalo zdokumentovaný prípad Perplexity.

Vynucovanie nad rámec robots.txt: WAF, edge a overovanie botov

Keďže robots.txt sa nedá vynútiť, spoľahlivá správa potrebuje druhú a tretiu úroveň. Prečo, ukazuje prípad Perplexity. Cloudflare zdokumentoval, že Perplexity popri deklarovanom User-Agentovi nasadila aj generický prehliadač, ktorý napodobňoval Google Chrome na macOS, hneď ako bol deklarovaný crawler zablokovaný. Táto aktivita bola pozorovaná na desaťtisícoch domén s miliónmi požiadaviek denne a Cloudflare následne vyradil Perplexity zo zoznamu overených botov (Verified Bots). Direktíva v robots.txt by toto správanie nezastavila.

Viacvrstvové vynucovanie (layered enforcement) preto kombinuje tri vrstvy.

• robots.txt ako vrstva pravidiel: deklaruje zámer a riadi kooperatívne boty. Je základom, o ktorý sa opierajú právne argumenty.
• Blokovanie na úrovni edge a CDN: Riešenia ako Cloudflare AI Crawl Control alebo spravované zoznamy pravidiel pre boty presadzujú blokovanie ešte pred pôvodným serverom (origin) a udržiavajú zoznamy overených botov, voči ktorým sa údajné crawlery musia preukázať.
• Úroveň servera a WAF: Overovanie User-Agenta a ASN kontroluje, či požiadavka skutočne pochádza z deklarovaného sieťového rozsahu poskytovateľa. Údajný GPTBot z cudzieho ASN sa považuje za skrytý crawler (stealth crawler) a zablokuje sa.

Až táto kombinácia robí politiku pre crawlery auditovateľnou, pretože uzatvára medzeru medzi dobrovoľnou direktívou a skutočným vynútením.

Súlad s predpismi a právo v Rakúsku a Nemecku

Pre rakúske a nemecké firmy je správa AI crawlerov aj právnou otázkou. Základom je autorskoprávna možnosť odmietnuť vyťažovanie textov a dát (text and data mining, TDM opt-out) zo smernice o autorskom práve na digitálnom jednotnom trhu (smernica DSM). V Nemecku ju zavádza § 44b nemeckého UrhG, v Rakúsku § 42h rakúskeho UrhG. Výhradou použitia môžu nositelia práv zakázať automatizované vyhodnocovanie svojho obsahu na komerčný tréning. V Nemecku je taká výhrada pri online obsahu účinná len vtedy, ak je strojovo čitateľná (§ 44b ods. 3 nemeckého UrhG). Rakúsky zákon vyžaduje výslovný zákaz, ktorý je primeraným spôsobom označený, a pri online dielach uvádza ako príklad strojovo čitateľné prostriedky (§ 42h ods. 6 rakúskeho UrhG). Proti vyťažovaniu textov a dát na účely vedeckého výskumu, napríklad vysokými školami a inými nekomerčnými výskumnými organizáciami, výhrada nepôsobí (§ 60d nemeckého UrhG, v Rakúsku § 42h ods. 1 rakúskeho UrhG). Strojovo čitateľnými prostriedkami sú najmä pravidlá v robots.txt pre tréningové boty a popri nich TDM Reservation Protocol (TDMRep), ktorý špecifikovala komunitná skupina W3C (W3C Community Group) a ktorý vyjadruje výhradu ako HTTP hlavičku, meta tag alebo súbor /.well-known/tdmrep.json. Dopĺňa ich výslovná výhrada v podmienkach používania. Pre Švajčiarsko platí vlastná právna úprava, ktorú táto časť nepokrýva.

Treba zohľadniť tri roviny:

• Autorské právo a TDM opt-out: Výhrada použitia musí byť jasná a ľahko nájditeľná. Či sa v Nemecku výhrada v prirodzenom jazyku, napríklad v údajoch o prevádzkovateľovi (Impressum) alebo v podmienkach používania, považuje za strojovo čitateľnú, súdy zatiaľ s konečnou platnosťou nevyjasnili. V konaní Kneschke proti LAION Vyšší krajinský súd v Hamburgu (OLG Hamburg) nepovažoval za preukázané, že taká výhrada bola v čase použitia v roku 2021 strojovo čitateľná, a použitie navyše oprel o výnimku pre vedecký výskum v § 60d nemeckého UrhG. Spolkový súdny dvor (BGH) ohlásil rozsudok v revíznom konaní na 17. decembra 2026 (sp. zn. I ZR 281/25). Právne bezpečnejšia je dodatočná technická výhrada cez robots.txt alebo TDMRep.
• Súvislosť s GDPR: Hneď ako crawlovaný obsah obsahuje osobné údaje, napríklad profily zamestnancov alebo referencie zákazníkov, tréning sa dotýka otázok ochrany osobných údajov. Samotná výhrada použitia neodpovedá na otázku, či je spracovanie z hľadiska ochrany údajov prípustné.
• Zmluvné zabezpečenie: Podmienky používania môžu zakázať komerčné vyhodnocovanie a vytvárajú záväzkovoprávny základ, ktorý ide nad rámec autorského práva. To je dôležité pri botoch, ktoré ignorujú robots.txt, no majú záujem o obchodný vzťah.

Zdokumentované porušenie robots.txt sa v tejto súvislosti stáva dôkazom. Kto výhradu použitia riadne vyhlási a porušenia zaznamenáva, vytvára základ pre právne alebo zmluvné kroky.

Rozhodovací rámec pre podniky: viditeľnosť verzus ochrana

Ústredné riadiace rozhodnutie je vážením medzi GEO viditeľnosťou a ochranou obsahu, a to pre každý typ bota. Výskum generatívnej optimalizácie pre vyhľadávače (Generative Engine Optimization) ukazuje, že cielená optimalizácia dokáže zvýšiť viditeľnosť v generatívnych odpovediach až o 40 %. Kto blokuje vyhľadávacie boty, vzdáva sa práve tejto páky.

Model vhodný na riadenie hodnotí každý typ bota podľa dvoch kritérií: očakávaný prínos pre viditeľnosť a potreba ochrany obsahu.

• Povoliť vyhľadávacie boty: OAI-SearchBot a PerplexityBot otvárajú možnosť citovania v odpovediach AI. Pri obsahu relevantnom pre marketing a predaj tu spravidla prevažuje prínos pre viditeľnosť.
• Tréningové boty posudzovať diferencovane: Všeobecný obsah, ktorý je aj tak verejný, možno uvoľniť, citlivý alebo hodnotný obsah sa zablokuje alebo monetizuje cez pay-per-crawl.
• Chrániť hodnotný vlastný obsah: Pôvodné štúdie, nástroje a prémiové know-how sú aktívom, ktorým sa odlišuješ. Kto ich bez ochrany pustí do tréningu, rozdá svoj náskok bez protihodnoty.

Táto matica by mala byť zdokumentovaná, verziovaná a odsúhlasená so zodpovednými osobami z marketingu, právneho oddelenia a IT, aby politika pre crawlery zostala dohľadateľná.

Monitoring a meranie

Bez merania zostáva každá politika slepá. Správa AI crawlerov potrebuje priebežné vyhodnocovanie serverových logov a analytiky CDN. Kľúčové sú tri ukazovatele:

• Identifikácia crawlerov: Ktoré boty pristupujú, s akým User-Agentom a z akého ASN. Kontrola ASN odhalí skryté crawlery, ktoré napodobňujú cudzí User-Agent.
• Vplyv na crawl budget a šírku pásma: Podiel návštevnosti botov na celkovom objeme a na požiadavkách náročných na zdroje. Pomer z Wikimedie, 35 % zobrazení stránok oproti 65 % záťaže zdrojov, je užitočnou referenčnou hodnotou pre rádovú veľkosť.
• Podiel návštevnosti z AI zdrojov: Návštevnosť z odkazov z ChatGPT, Perplexity a podobných zdrojov, meraná cez referrer a parametre UTM. Táto hodnota ukazuje, či povolený bot skutočne prináša návštevníkov, alebo len vytvára záťaž.

Až porovnanie záťaže z crawlovania s výnosom z návštevnosti z odkazov umožní rozhodnúť o blokovaní alebo povolení každého bota na základe dát, nie intuície.

Implementácia v moderných technologických stackoch a budúce modely

V architektúrach Next.js a edge sa dá správa AI crawlerov čisto implementovať. Route pre robots.txt sa generuje dynamicky, takže direktívy pre boty sa spravujú a verziujú centrálne. Middleware kontroluje prichádzajúce požiadavky voči zoznamom overených botov a rozsahom ASN skôr, než sa dostanú na pôvodný server (origin). Hlavičky CDN riadia cachovanie a blokovanie na úrovni edge. Dôležité je, aby tieto tri body čerpali z jedného spoločného konfiguračného zdroja. Inak sa robots.txt, middleware a pravidlá na edge začnú rozchádzať.

Strategicky popri tom vznikajú nové modely. Pay-per-crawl umožňuje prístupy na tréning monetizovať namiesto toho, aby sa iba blokovali. Licenčné dohody o obsahu s poskytovateľmi AI prinášajú priamu odmenu za hodnotný obsah. Na úrovni štandardov pracujú iniciatívy ako IETF AI Preferences a prístupy typu Content Signals na strojovo čitateľných preferenciách, ktoré idú nad rámec hrubého Allow alebo Disallow a majú podrobne vyjadriť účely použitia. Firmám v regióne DACH sa oplatí štruktúrovať vlastnú politiku pre crawlery tak, aby sa do nej tieto pripravované štandardy dali začleniť bez prestavby.

Čo ďalej

Správa AI crawlerov je priebežný proces riadenia na rozhraní technického SEO, GEO, infraštruktúry a práva, nie jednorazové nastavenie. Ďalšími krokmi pre podnikové nasadenie sú zdokumentovaná matica botov, koncept viacvrstvového vynucovania z robots.txt, edge a WAF a strojovo čitateľná výhrada TDM podľa § 42h rakúskeho UrhG, resp. § 44b nemeckého UrhG. Kto tieto tri stavebné prvky prepojí s priebežným monitoringom logov, udrží si kontrolu nad obsahom aj infraštruktúrou a zároveň zostane viditeľný v odpovediach AI.