robots.txt a AI: stan prawny w UE i opt-out TDM

Dlaczego robots.txt i zarządzanie crawlerami AI mają teraz znaczenie prawne

Przez długi czas robots.txt był czysto technicznym narzędziem do sterowania crawlerami. Wraz z pojawieniem się danych treningowych dla AI stał się kwestią prawną. Wyższy Sąd Krajowy w Hamburgu orzekł 10 grudnia 2025 r. w sprawie Kneschke przeciwko LAION, że zastrzeżenie dotyczące eksploracji tekstów i danych (opt-out TDM) jest skuteczne tylko wtedy, gdy ma formę czytelną maszynowo. Informacje w języku naturalnym w warunkach korzystania lub disclaimerach nie wystarczyły w rozstrzyganej sprawie. To pierwsze orzeczenie sądu wyższej instancji w Niemczech dotyczące dozwolonego użytku w prawie autorskim przy trenowaniu AI. Prawomocne nie jest. OLG dopuścił skargę rewizyjną, a Federalny Trybunał Sprawiedliwości (I ZR 281/25) rozpatrywał ją na rozprawie 3 września 2026 r.; orzeczenie zamierza ogłosić 17 grudnia 2026 r. (stan na październik 2026). Podczas rozprawy I Senat Cywilny dał do zrozumienia, że widzi potrzebę wyjaśnienia kwestii prawa unijnego; możliwe, że skieruje pytania dotyczące eksploracji tekstów i danych do Trybunału Sprawiedliwości Unii Europejskiej.

Dla serwisów B2B w Niemczech i Austrii zmienia to priorytety. Kto chce zapobiec temu, by jego treści bez zgody trafiały do danych treningowych AI, powinien ustanowić to zastrzeżenie technicznie i w formie czytelnej maszynowo. Po wyroku OLG Hamburg nie można w Niemczech polegać na jednym zdaniu w języku naturalnym w nocie prawnej, a w Austrii takie zdanie jest co najmniej niepewne. Jednocześnie apetyt crawlerów AI na dane rośnie, co widać w liczbach: według Cloudflare w średniej rocznej za 2025 rok około 4,2 procent wszystkich żądań HTML przypadało na boty AI, podczas gdy sam Googlebot odpowiadał za 4,5 procent (dane międzynarodowe). robots.txt nie jest więc już tylko kwestią crawl budgetu, lecz także egzekwowania praw i suwerenności danych.

Uwaga dotycząca danych: kluczowe stwierdzenia prawne w tym artykule odnoszą się do prawa UE i jego wdrożenia w Niemczech i Austrii i są w ten sposób oznaczone. Statystyki dotyczące crawlerów i stopnia wdrożenia pochodzą głównie z badań międzynarodowych (Cloudflare, HTTP Archive, Pew) i służą jako punkt odniesienia.

Podstawa prawna: art. 4 dyrektywy DSM i jej wdrożenie w Austrii i Niemczech

Podstawą prawną opt-outu TDM jest art. 4 unijnej dyrektywy w sprawie prawa autorskiego na jednolitym rynku cyfrowym (dyrektywa DSM, 2019/790). Zasadniczo zezwala ona na eksplorację tekstów i danych również w celach komercyjnych, a więc także na zbieranie treści internetowych do trenowania AI. Kluczowy jest art. 4 ust. 3: podmioty praw mogą zakazać takiego korzystania, jeśli wyraźnie zastrzegą swoje prawa w odpowiedni sposób, na przykład za pomocą środków nadających się do odczytu maszynowego w przypadku treści udostępnionych publicznie online. W treści artykułu czytelność maszynowa jest tylko przykładem. Motyw 18 jest surowszy, przynajmniej w angielskiej wersji językowej: w przypadku treści online zastrzeżenie ma być uznawane za odpowiednie tylko wtedy, gdy dokonano go za pomocą środków nadających się do odczytu maszynowego. Motyw wyraźnie zalicza do nich także metadane oraz warunki korzystania ze strony internetowej lub usługi. W wersji niemieckiej brakuje tego „tylko”. Czy zastrzeżenie w języku naturalnym w warunkach korzystania uznaje się za czytelne maszynowo, to sedno całej debaty.

Dyrektywę wdrożono do prawa krajowego, ale nie w identycznym brzmieniu. W Niemczech eksplorację tekstów i danych reguluje § 44b UrhG. Jego ust. 3 zmienia przykład z dyrektywy w warunek skuteczności: zastrzeżenie dotyczące korzystania z utworów dostępnych online jest skuteczne tylko wtedy, gdy ma formę nadającą się do odczytu maszynowego. W Austrii jest to § 42h ustawy o prawie autorskim (UrhG). Zgodnie z ust. 6 wyjątek nie ma zastosowania, jeśli zwielokrotnianie zostało wyraźnie zakazane, a zakaz w odpowiedni sposób oznaczono zastrzeżeniem dotyczącym korzystania, na przykład za pomocą środków nadających się do odczytu maszynowego w przypadku utworów publicznie udostępnionych w internecie. Austria przejmuje więc sformułowanie dyrektywy. Czy informacja w języku naturalnym w warunkach korzystania wystarcza tam jako odpowiednie zastrzeżenie, pozostaje kwestią otwartą. Wynika z tego następująca logika:

• Zasada ogólna: Komercyjna eksploracja tekstów i danych (TDM) jest dozwolona. Bez skutecznego zastrzeżenia dostawcy AI mogą wykorzystywać publicznie dostępne treści do trenowania.
• Opt-out zamiast opt-in: Ochrona nie działa automatycznie. Podmioty praw muszą aktywnie zgłosić sprzeciw.
• Forma online: W Niemczech zastrzeżenie dotyczące treści online jest skuteczne tylko wtedy, gdy jest czytelne maszynowo. W Austrii ustawa wymienia środki czytelne maszynowo jako przykład odpowiedniego zastrzeżenia.

Dla austriackich firm oznacza to konkretnie: ochrona na podstawie § 42h UrhG nie powstaje sama z siebie. Trzeba ją aktywnie zadeklarować, najlepiej tak, aby maszyna mogła ją odczytać i przetworzyć. Tę formę ustawa wymienia wprost i spełnia ona także surowszy niemiecki standard.

W prawie szwajcarskim takiej regulacji nie ma. Szwajcaria nie jest członkiem UE, więc dyrektywa DSM nie ma tam zastosowania. Według raportu szwajcarskiej grupy AIPPI na temat prawa autorskiego i AI szwajcarska ustawa o prawie autorskim nie przewiduje wyjątku stworzonego specjalnie z myślą o trenowaniu modeli AI. Do eksploracji tekstów i danych w celach badawczych stosuje się art. 24d URG, bez możliwości zastrzeżenia praw. Opt-outu na wzór art. 4 ust. 3 dyrektywy DSM prawo szwajcarskie nie przewiduje.

Mimo to zastrzeżenie czytelne maszynowo nie jest bez znaczenia dla szwajcarskich stron. Zgodnie z motywem 106 AI Act dostawcy, którzy wprowadzają model AI ogólnego przeznaczenia na rynek UE, powinni przestrzegać zastrzeżeń na podstawie art. 4 ust. 3 dyrektywy DSM niezależnie od tego, w jakim kraju odbywa się trenowanie. Takie zastrzeżenie może więc działać również w przypadku treści na szwajcarskich stronach.

Co oznacza „czytelny maszynowo”? Popularne metody i ich ograniczenia

Pojęcie czytelności maszynowej nie jest w ustawie zdefiniowane w sposób wyczerpujący. W praktyce popularnych jest kilka metod, ale nie każda wyraża zastrzeżenie z zakresu prawa autorskiego. robots.txt i TDMRep można łączyć, aby wzmocnić skutek prawny.

• robots.txt: Plik w katalogu głównym za pomocą dyrektyw User-agent określa, które crawlery mogą pobierać które ścieżki. To najbardziej znany i najszerzej stosowany mechanizm, który większość dostawców AI akceptuje jako sygnał opt-outu.
• Meta tagi HTML i dyrektywy robots: Tagi takie jak noindex, nosnippet czy max-snippet sterują indeksowaniem i fragmentami w wynikach. Według Google ograniczają one to, co wyszukiwarka, łącznie z jej funkcjami AI, pokazuje z danej strony. Nie są wyraźnym zastrzeżeniem TDM i obniżają widoczność: noindex całkowicie usuwa stronę z wyszukiwarki Google.
• Nagłówki HTTP: Nagłówek X-Robots-Tag pozwala ustawić te same dyrektywy po stronie serwera, także dla zasobów innych niż HTML, takich jak pliki PDF czy obrazy. Dotyczy ich to samo ograniczenie.
• TDM Reservation Protocol (TDMRep): Specyfikacja grupy W3C Community Group TDM Reservation Protocol, a nie oficjalny standard W3C. Wprost wyraża zastrzeżenie na podstawie art. 4 dyrektywy DSM: w nagłówku HTTP, w pliku /.well-known/tdmrep.json lub w meta tagu HTML. TDMRep zaprojektowano specjalnie z myślą o wymogu prawnym z art. 4.

Ważne jest rozróżnienie między celem a formą. robots.txt technicznie steruje crawlowaniem. TDMRep dotyczy wprost zastrzeżenia z zakresu prawa autorskiego. Kto chce działać bezpiecznie pod względem prawnym, powinien zastosować oba rozwiązania, ponieważ OLG Hamburg wyraźnie wymaga formy czytelnej maszynowo, nie narzucając jednego konkretnego formatu.

Wyrok w sprawie Kneschke przeciwko LAION i jego skutki dla Niemiec i Austrii

Sąd Krajowy w Hamburgu oddalił powództwo 27 września 2024 r. (310 O 227/23). W postępowaniu apelacyjnym OLG Hamburg (sygnatura 5 U 104/24) wydał wyrok 10 grudnia 2025 r. Fotograf Robert Kneschke sprzeciwiał się temu, że jedno z jego zdjęć trafiło do zbioru danych treningowych organizacji LAION. Jego opt-out był sformułowany w warunkach korzystania z serwisu ze zdjęciami, czyli w języku naturalnym.

OLG Hamburg uznał to zastrzeżenie za nieskuteczne. Uzasadnienie: informacja na stronie banku zdjęć w chwili pobrania nie miała przewidzianej w ustawie formy czytelnej maszynowo (§ 44b ust. 3 zd. 2 UrhG). Tym samym wyjątek z § 44b UrhG, który wdraża art. 4 dyrektywy DSM, miał zastosowanie na korzyść LAION. Według Freshfields miarodajny był stan z chwili pobrania w 2021 r. Jak taką informację ocenić przy dzisiejszej technice, sąd tym samym nie rozstrzygnął. Dodatkowo OLG oparł dopuszczalność wykorzystania na wyjątku dla badań naukowych z § 60d UrhG, wobec którego zastrzeżenie nie jest możliwe. Ta część uzasadnienia sprawdza się w przypadku LAION jako niekomercyjnego stowarzyszenia badawczego, ale co do zasady nie w przypadku komercyjnych dostawców AI. Dla nich liczy się § 44b UrhG, a więc zastrzeżenie czytelne maszynowo. Wyrok jest nieprawomocny (zob. wyżej). Według analizy Norton Rose Fulbright otwarte pozostają m.in. kwestia ciężaru dowodu i pytanie, co dokładnie uznaje się za czytelne maszynowo.

Skutki dla Niemiec i Austrii są poważne:

• W Niemczech czytelność maszynowa jest obowiązkowa: Kto chce skutecznego zastrzeżenia, nie może polegać na regulaminie ani disclaimerach. Opt-out musi być zapisany technicznie.
• W Austrii jest ona zdecydowanie zalecana: Ustawa wymienia środki czytelne maszynowo jako przykład. Czy wystarczy zapis w regulaminie, pozostaje niewyjaśnione; zastrzeżenie techniczne pozwala uniknąć tego pytania.
• Pierwsza wytyczna sądu wyższej instancji: Ponieważ to pierwsze orzeczenie na etapie apelacji w Niemczech, ma ono znaczenie sygnałowe także dla Austrii, choć austriackie sądy formalnie nie są nim związane.
• Presja na podmioty praw: Kto dotąd zgłaszał sprzeciw wyłącznie w języku naturalnym, nie może polegać na tym zastrzeżeniu ani w Niemczech, ani w Austrii. Techniczne uzupełnienie opłaca się w obu krajach.

Kontrprzykład z USA pokazuje różnice w sytuacji prawnej. W amerykańskim postępowaniu Ziff Davis przeciwko OpenAI porównano robots.txt do tabliczki „Zakaz wstępu” bez własnej mocy prawnej. W przeciwieństwie do UE prawo amerykańskie nie przewiduje opt-outu TDM na wzór art. 4. Zastrzeżenia czytelne maszynowo nie wywołują tam takich samych skutków w zakresie prawa autorskiego jak w UE.

Unijny AI Act, art. 53: obowiązki dostawców AI w zakresie praw autorskich

Drugim filarem obok dyrektywy DSM jest unijny AI Act. Zobowiązuje on dostawców modeli AI ogólnego przeznaczenia (General-Purpose AI, GPAI) do respektowania zastrzeżeń praw autorskich. Zgodnie z art. 53 ust. 1 dostawcy GPAI muszą wprowadzić politykę służącą zapewnieniu zgodności z unijnym prawem autorskim, w szczególności w celu identyfikacji i przestrzegania, w tym za pomocą najnowocześniejszych technologii, zastrzeżenia praw wyrażonego zgodnie z art. 4 ust. 3 dyrektywy 2019/790 (UE). AI Act obowiązuje od 1 sierpnia 2024 r., a ten obowiązek stosuje się od 2 sierpnia 2025 r. Dla modeli, które były na rynku już wcześniej, przewidziano okres przejściowy do 2 sierpnia 2027 r.

To łączy oba akty prawne w jeden system. Dyrektywa DSM daje podmiotowi praw narzędzie w postaci zastrzeżenia czytelnego maszynowo. AI Act zobowiązuje dostawców AI do aktywnego rozpoznawania i przestrzegania tych zastrzeżeń. W praktyce sformułowanie „za pomocą najnowocześniejszych technologii” oznacza, że dostawcy muszą analizować właśnie te sygnały czytelne maszynowo, które ustawia operator strony: robots.txt, TDMRep i porównywalne standardy.

Uzupełnieniem jest dobrowolny kodeks postępowania dla GPAI (Code of Practice), opublikowany 10 lipca 2025 r. Kto go podpisze, zobowiązuje się w rozdziale dotyczącym praw autorskich (środek 1.3) do używania crawlerów, które odczytują i przestrzegają robots.txt zgodnie ze standardem RFC 9309 (Robots Exclusion Protocol). Dla operatorów stron to kluczowy pomost: prawidłowo ustawiony wpis w robots.txt jest najpopularniejszym czytelnym maszynowo sygnałem zastrzeżenia. Dostawcy GPAI muszą rozpoznawać i przestrzegać takich zastrzeżeń zgodnie z art. 53 AI Act, a sygnatariusze kodeksu dodatkowo zobowiązali się do przestrzegania robots.txt.

Praktyczna konfiguracja robots.txt dla crawlerów AI

Skuteczne sterowanie zaczyna się od znajomości właściwych user agentów. Każdy większy dostawca AI ma własne crawlery, często z osobnymi botami do trenowania i do pobierania w czasie rzeczywistym. Opt-outy są coraz popularniejsze: według Web Almanac 2024 w plikach robots.txt na desktopie pojawiały się GPTBot w 2,9 procent, CCBot w 2,7 procent, Google-Extended w 2,5 procent i Anthropic-ai w 2,1 procent przypadków (dane międzynarodowe). W 2024 roku zjawisko było jeszcze nowe, a te udziały od tego czasu rosną.

Najważniejsze user agenty i ich funkcje:

• GPTBot: Crawler OpenAI służący do trenowania. Zablokowanie go zapobiega włączeniu treści do przyszłych danych treningowych.
• ChatGPT-User: Pobiera strony, gdy wywoła to użytkownik ChatGPT. Według OpenAI reguły robots.txt mogą tu nie mieć zastosowania. O tym, czy treści pojawiają się w wyszukiwarce ChatGPT, decyduje OAI-SearchBot.
• ClaudeBot: Crawler treningowy Anthropic. Anthropic-ai to starszy, powiązany z nim identyfikator.
• Google-Extended: Nie jest osobnym crawlerem, lecz tokenem w robots.txt. Określa, czy Google wykorzystuje treści do trenowania modeli Gemini oraz do groundingu w Gemini Apps i Vertex AI.
• CCBot: Crawler Common Crawl, którego otwarte zbiory danych wiele modeli AI wykorzystuje jako źródło danych treningowych.
• PerplexityBot: Crawler Perplexity budujący indeks wyszukiwarki AI tej firmy.

Typowa strategia blokowania crawlerów treningowych wygląda tak:

```
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /
```

Obraz w praktyce jest zróżnicowany. Według Cloudflare w 2025 roku najwięcej pełnych dyrektyw Disallow dotyczyło crawlerów AI, takich jak GPTBot, ClaudeBot i CCBot, podczas gdy Googlebot i Bingbot były przeważnie blokowane tylko częściowo (dane międzynarodowe). Operatorzy stron celowo blokują więc boty służące wyłącznie do trenowania AI, ale wpuszczają klasyczne crawlery wyszukiwarek, aby nie stracić widoczności organicznej.

Ograniczenia robots.txt: dobrowolne przestrzeganie i crawlery typu stealth

robots.txt ma zasadniczą słabość: przestrzeganie go jest dobrowolne. Plik jest prośbą, a nie techniczną blokadą. Rzetelni dostawcy się do niego stosują. W UE dostawcy GPAI muszą zgodnie z AI Act rozpoznawać i przestrzegać zastrzeżeń praw; sygnatariusze Code of Practice zobowiązali się dodatkowo do przestrzegania robots.txt. Technicznie jednak plik można zignorować.

Przypadek Perplexity dobitnie to pokazał. Cloudflare udokumentował 4 sierpnia 2025 r., że Perplexity stosowało niezadeklarowane crawlery typu stealth, które używały generycznej przeglądarki imitującej Google Chrome na macOS, gdy zadeklarowany crawler był blokowany, i przy tym ignorowały robots.txt albo częściowo w ogóle go nie pobierały (dane międzynarodowe). Boty używały też adresów IP spoza oficjalnego zakresu i rotowały między różnymi ASN, aby obejść blokady. W efekcie Cloudflare odebrał Perplexity status Verified Bot i zablokował crawlery typu stealth za pomocą własnych heurystyk.

Wynikają z tego wyraźne ograniczenia:

• Brak technicznego egzekwowania: robots.txt nie blokuje dostępu, a jedynie sygnalizuje życzenie.
• Niezadeklarowane boty: Crawlerów podszywających się pod zwykłą przeglądarkę nie da się niezawodnie zatrzymać regułą opartą na user agencie.
• Rotacja IP i ASN: Kto korzysta ze zmieniających się zakresów adresów, obchodzi proste blokady IP.

Dla oceny prawnej zastrzeżenie pozostaje jednak ważne. Nawet jeśli crawler technicznie je ignoruje, czytelny maszynowo opt-out dokumentuje, że podmiot praw zgłosił sprzeciw. To warunek, aby w ogóle móc powołać się na art. 4 ust. 3 dyrektywy DSM.

Standardy uzupełniające: ai.txt, llms.txt i Really Simple Licensing

Obok robots.txt powstało kilka standardów uzupełniających. Mają one różne cele, od samego blokowania po licencjonowanie.

• ai.txt: Osobny plik, który ma wyrażać konkretnie zastrzeżenie TDM na podstawie art. 4. Uzupełnia robots.txt o warstwę dotyczącą wprost prawa autorskiego.
• llms.txt: Działa raczej jak mapa strony dla systemów AI. Ma w uporządkowany sposób udostępniać treści do wykorzystania przez AI, jest więc standardem nie blokowania, lecz udostępniania. Jak dotąd jest słabo rozpowszechniony i dopiero raczkuje.
• Really Simple Licensing (RSL): Prawdopodobnie najważniejszy nowy standard. RSL 1.0 opublikowano 10 grudnia 2025 r. jako oficjalną specyfikację. Według ogłoszenia RSL 1.0 definiuje dodatkowe kategorie użycia ai-all, ai-input i ai-index, aby dać wydawcom precyzyjniejszą kontrolę, oraz zawiera nową opcję płatności o nazwie contribution, która pozwala zobowiązać systemy AI do świadczeń pieniężnych lub mających wartość pieniężną (dane międzynarodowe). Do jego zwolenników należą Yahoo, Ziff Davis i O'Reilly Media.

Kluczowa różnica koncepcyjna przebiega między blokowaniem a licencjonowaniem. robots.txt i ai.txt mówią crawlowaniu tylko „tak” albo „nie”. RSL idzie dalej: pozwala udostępniać treści na określonych warunkach lub za wynagrodzeniem. Powstaje w ten sposób rozwiązanie pośrednie między całkowitą blokadą a bezpłatnym udostępnieniem, które może być interesujące dla komercyjnych dostawców treści w sektorze B2B.

Konflikt celów: opt-out z trenowania AI a widoczność GEO

Jedna z kluczowych kwestii strategicznych bywa często źle rozumiana. Blokowanie crawlerów treningowych i obecność w odpowiedziach AI to dwie różne rzeczy. Kto blokuje GPTBot lub Google-Extended, zapobiega włączeniu treści do danych treningowych. Nie musi to jednak wpływać na to, czy treści pojawiają się w wynikach wyszukiwania AI lub w podsumowaniach.

Dobrze ilustruje to Google-Extended. To token w robots.txt służący do opt-outu z trenowania AI w Gemini i Vertex AI, który jednak nie wpływa na obecność w wyszukiwarce Google i nie jest sygnałem rankingowym (dane międzynarodowe). Według Google token steruje ponadto groundingiem w Gemini Apps i w Grounding with Google Search w Vertex AI, czyli tym, czy treści z indeksu wyszukiwarki trafiają przy zapytaniu do odpowiedzi modelu. Kto blokuje Google-Extended, pozostaje widoczny w zwykłej wyszukiwarce i w AI Overviews. Gemini nie wykorzystuje jednak wtedy tych treści ani do trenowania, ani jako podstawy swoich odpowiedzi.

Widoczność w odpowiedziach AI jest zarazem czynnikiem istotnym ekonomicznie, ponieważ podsumowania AI odbierają kliknięcia. Według międzynarodowej analizy Pew użytkownicy przy wyszukiwaniu z podsumowaniem AI klikali klasyczny wynik w 8 procentach przypadków, wobec 15 procent bez podsumowania AI, a w link wewnątrz podsumowania AI kliknął tylko 1 procent (dane międzynarodowe, USA, marzec 2025). Współczynnik klikalności spada więc niemal o połowę. W takim otoczeniu dla dostawców B2B może być sensowne, aby być cytowanym w odpowiedziach AI i w ogóle pozostać widocznym, a jednocześnie chronić własne materiały przed niekontrolowanym trenowaniem. Właśnie takie rozdzielenie umożliwiają osobne dyrektywy dla crawlerów treningowych i wyszukiwarkowych.

Techniczne egzekwowanie poza robots.txt

Ponieważ robots.txt jest tylko prośbą, poważna strategia potrzebuje drugiego poziomu: egzekwowania po stronie serwera. Tu do gry wchodzą edge, CDN i zarządzanie botami.

• Blokowanie przez WAF i na edge: Web Application Firewall lub reguła edge może blokować żądania według user agenta, zakresu IP lub wzorca zachowania, zanim dotrą one do serwera źródłowego. Działa to także wobec crawlerów, które ignorują robots.txt.
• Zarządzanie botami: Wykrywanie oparte na zachowaniu identyfikuje zautomatyzowany ruch na podstawie sygnałów takich jak częstotliwość żądań czy brakujące cechy przeglądarki, a nie tylko na podstawie zadeklarowanego user agenta.
• Kontrola crawlerów AI w Cloudflare: Cloudflare oferuje dedykowane przełączniki do centralnego blokowania znanych crawlerów AI, a w przypadku Perplexity zareagował własnymi heurystykami przeciwko ukrytemu crawlowaniu (stealth crawling).
• Modele pay-per-crawl: Nowsze rozwiązania pozwalają udzielać crawlerom AI dostępu wyłącznie za opłatą. Łączy to techniczną blokadę z ideą licencjonowania, podobnie jak w logice RSL.

Ten poziom jako jedyny ma rzeczywiste działanie techniczne. Nie zastępuje zastrzeżenia prawnego, lecz je uzupełnia. Dopiero połączenie udokumentowanego opt-outu z faktyczną blokadą obejmuje zarówno stronę prawną, jak i praktyczną.

Najczęstsze błędy w zarządzaniu crawlerami AI

• Opt-out tylko w regulaminie: Najczęstszy i po wyroku OLG Hamburg najpoważniejszy błąd. W Niemczech po tym wyroku nie można polegać na informacji sformułowanej w języku naturalnym, a w Austrii jest ona co najmniej niepewna.
• Traktowanie robots.txt jak blokady: Plik nie blokuje dostępu. Kto sądzi, że w ten sposób ochrona jest technicznie zagwarantowana, myli się.
• Mieszanie trenowania i wyszukiwania: Kto hurtowo blokuje wszystkie boty AI, może niezamierzenie stracić widoczność GEO. Crawlery treningowe i wyszukiwarkowe wymagają oddzielnych reguł.
• Nieaktualne listy user agentów: Dostawcy AI wprowadzają nowe crawlery i zmieniają identyfikatory. Raz napisany robots.txt szybko się dezaktualizuje.
• Brak zabezpieczenia po stronie serwera: Poleganie wyłącznie na robots.txt pozwala crawlerom typu stealth i niezadeklarowanym botom przechodzić bez przeszkód.
• Brak dokumentacji: Bez dowodu, kiedy ustanowiono które zastrzeżenie, w razie sporu trudno wykazać, że sprzeciw został zgłoszony aktywnie.

Metryki i pomiar: jak uwidocznić ruch crawlerów

Zarządzanie crawlerami AI da się mierzyć, nawet jeśli nie istnieje jeden wskaźnik sukcesu. Sensowne wskaźniki i punkty kontrolne:

• Udział botów AI w ruchu: Przeanalizuj logi serwera lub CDN pod kątem user agentów AI. Punktem odniesienia jest zmierzona przez Cloudflare średnia na poziomie około 4,2 procent żądań HTML w 2025 roku.
• Skuteczność blokad: Sprawdź, czy zablokowane crawlery rzeczywiście nie mają już udanych pobrań. Utrzymujący się ruch mimo Disallow wskazuje na boty niestosujące się do reguł lub boty typu stealth.
• Wykrywanie anomalii: Zwracaj uwagę na nietypowe wzorce, takie jak user agenty przeglądarek z zachowaniem typowym dla serwerów lub ruch z rotujących ASN.
• Kompletność zastrzeżeń: Regularnie sprawdzaj, czy robots.txt, sygnał TDMRep i ewentualnie RSL są spójne i aktualne.
• Widoczność GEO: Obserwuj, czy i jak Twoje treści są cytowane w odpowiedziach AI i AI Overviews, aby świadomie zarządzać konfliktem między ochroną a widocznością.

Na początek wystarczy analiza własnych logów w połączeniu z raportami o botach z używanego CDN. Ważne jest regularne powtarzanie, ponieważ zarówno lista aktywnych crawlerów, jak i wymogi prawne szybko się zmieniają.

Rekomendacje i dalsze materiały

Dla serwisów B2B, zwłaszcza opartych na architekturach Next.js i edge, zalecana jest wielowarstwowa strategia. Obejmuje ona jednocześnie poziom prawny i techniczny.

• Zastrzeżenie czytelne maszynowo: Ustanów zastrzeżenie TDM na podstawie art. 4 ust. 3 dyrektywy DSM w formie czytelnej maszynowo. Podstawę stanowi robots.txt z ukierunkowanymi dyrektywami Disallow dla crawlerów treningowych, uzupełniony o sygnał TDMRep w nagłówku HTTP lub w znacznikach.
• Oddzielna logika dla crawlerów: Oddziel boty treningowe, takie jak GPTBot, ClaudeBot, CCBot i Google-Extended, od crawlerów wyszukiwarek, takich jak OAI-SearchBot i PerplexityBot, aby ochrona przed trenowaniem nie szkodziła widoczności GEO.
• Blokowanie po stronie serwera: Uzupełnij zastrzeżenie o realne egzekwowanie przez WAF, reguły edge lub zarządzanie botami w Twoim CDN, aby wyłapywać crawlery typu stealth i niezadeklarowane boty.
• Dokumentacja: Zapisuj, kiedy ustanowiono które zastrzeżenie. W razie sporu udokumentowany, czytelny maszynowo opt-out jest podstawą, aby powołać się na art. 4.

Sytuacja prawna jest jeszcze świeża i wciąż się rozwija. OLG Hamburg wyznaczył pierwszy kierunek, o którym teraz zdecyduje Federalny Trybunał Sprawiedliwości, a być może także Trybunał Sprawiedliwości Unii Europejskiej. AI Act sprawia, że obowiązki dostawców są wiążące od sierpnia 2025 r., a w przypadku starszych modeli od sierpnia 2027 r. Nowe standardy, takie jak RSL, powstają szybko. Kto działa już dziś, powinien wdrożyć wielowarstwową strategię i śledzić rozwój sytuacji. Powiązane tematy to crawl budget i zarządzanie wieloma botami (multi-bot governance) w przypadku crawlerów AI, dane strukturalne jako warstwa rozumienia dla AI, przetwarzanie danych zgodne z RODO oraz GEO i widoczność w odpowiedziach AI.