robots.txt und AI: EU-Rechtslage und TDM-Opt-out

Warum robots.txt und AI-Crawler-Management jetzt rechtlich relevant sind

Lange war robots.txt ein rein technisches Werkzeug zur Crawler-Steuerung. Mit dem Aufkommen von KI-Trainingsdaten ist daraus eine rechtliche Frage geworden. Das Hamburger Oberlandesgericht entschied am 10. Dezember 2025 im Verfahren Kneschke gegen LAION, dass ein Text-und-Data-Mining-Vorbehalt (TDM-Opt-out) nur dann wirksam ist, wenn er maschinenlesbar erfolgt. Natürlichsprachliche Hinweise in Nutzungsbedingungen oder Disclaimern reichen nicht aus. Das Gericht stellte fest, dass Rechteinhaber TDM-Nutzungen blockieren können, aber nur wenn der Opt-out maschinenlesbar ausgedrückt ist, und dass allgemeine Nutzungsbedingungen oder menschenlesbare Disclaimer unzureichend sind (Deutschland, Hamburg). Es ist die erste obergerichtliche Leitentscheidung in Deutschland zu den Urheberrechtsschranken beim KI-Training.

Für B2B-Websites im DACH-Raum verschiebt das die Prioritäten. Wer verhindern will, dass seine Inhalte ohne Erlaubnis in KI-Trainingsdaten landen, muss diesen Vorbehalt technisch und maschinenlesbar setzen. Ein Satz im Impressum genügt nicht mehr. Gleichzeitig wächst der Datenhunger der KI-Crawler messbar: Laut Cloudflare entfielen im Jahresdurchschnitt 2025 rund 4,2 Prozent aller HTML-Requests auf KI-Bots, während Googlebot allein 4,5 Prozent ausmachte (international). robots.txt ist damit nicht mehr nur eine Frage von Crawl-Budget, sondern von Rechtsdurchsetzung und Datensouveränität.

Ein Hinweis zur Datenbasis: Die rechtlichen Kernaussagen dieses Artikels beziehen sich auf EU- und DACH-Recht und sind als solche gekennzeichnet. Die Crawler- und Adoptionsstatistiken stammen überwiegend aus internationalen Erhebungen (Cloudflare, HTTP Archive, Pew) und dienen als Benchmark.

Die Rechtsgrundlage: Art. 4 DSM-Richtlinie und die Umsetzung in AT und DE

Die rechtliche Basis des TDM-Opt-outs ist Artikel 4 der EU-Urheberrechtsrichtlinie im digitalen Binnenmarkt (DSM-Richtlinie, 2019/790). Sie erlaubt Text und Data Mining grundsätzlich auch zu kommerziellen Zwecken, also auch das Sammeln von Webinhalten für KI-Training. Entscheidend ist Art. 4 Abs. 3: Rechteinhaber können diese Nutzung untersagen, indem sie sich die Rechte ausdrücklich vorbehalten. Bei online verfügbaren Inhalten muss dieser Vorbehalt in maschinenlesbarer Form erfolgen. Genau dieser Halbsatz ist der Kern der gesamten Debatte.

Die Umsetzung in nationales Recht ist erfolgt. In Österreich regelt § 42h des Urheberrechtsgesetzes (UrhG) das Text- und Data-Mining samt Vorbehaltsmöglichkeit, in Deutschland ist es § 44b UrhG. Beide Normen setzen die Vorgabe der DSM-Richtlinie um. Daraus ergibt sich die Logik:

• Grundregel: Kommerzielles TDM ist erlaubt. Ohne wirksamen Vorbehalt dürfen KI-Anbieter öffentlich zugängliche Inhalte für das Training nutzen.
• Opt-out statt Opt-in: Der Schutz greift nicht automatisch. Rechteinhaber müssen aktiv widersprechen.
• Formerfordernis online: Bei Inhalten, die im Internet bereitgestellt werden, ist der Vorbehalt nur wirksam, wenn er maschinenlesbar ist.

Für österreichische Unternehmen heißt das konkret: Der Schutz nach § 42h UrhG entsteht nicht von selbst. Er muss technisch ausgelöst werden, und zwar so, dass eine Maschine ihn lesen und auswerten kann.

Was bedeutet maschinenlesbar? Anerkannte Opt-out-Methoden

Der Begriff maschinenlesbar ist im Gesetz nicht abschließend definiert. In der Praxis haben sich mehrere Verfahren etabliert, die als maschinenlesbarer Vorbehalt gelten. Sie lassen sich kombinieren, um die rechtliche Wirkung zu stützen.

• robots.txt: Die Datei im Wurzelverzeichnis steuert per User-Agent-Direktiven, welche Crawler welche Pfade abrufen dürfen. Sie ist der bekannteste und am weitesten verbreitete Mechanismus und wird von den meisten KI-Anbietern als Opt-out-Signal akzeptiert.
• HTML-Meta-Tags und Robots-Direktiven: Tags wie noindex, nosnippet oder max-snippet auf Seitenebene steuern, wie Inhalte indexiert und in Snippets oder KI-Antworten verwendet werden dürfen.
• HTTP-Header: Über den X-Robots-Tag-Header lassen sich dieselben Direktiven serverseitig setzen, auch für Nicht-HTML-Ressourcen wie PDF oder Bilder.
• TDM Reservation Protocol (TDMRep): Ein vom W3C entwickelter Standard, der den Vorbehalt nach Art. 4 DSM-Richtlinie explizit ausdrückt, per HTTP-Header, per gut-bekannter Datei oder per HTML-Markup. TDMRep wurde speziell für die rechtliche Anforderung des Art. 4 entworfen.

Wichtig ist die Unterscheidung zwischen Zweck und Form. robots.txt steuert technisch das Crawling. TDMRep adressiert gezielt den urheberrechtlichen Vorbehalt. Wer rechtssicher arbeiten will, sollte beides setzen, weil das OLG Hamburg ausdrücklich die maschinenlesbare Form verlangt, ohne ein einzelnes Format vorzuschreiben.

Die Kneschke-gegen-LAION-Entscheidung und ihre Folgen für den DACH-Raum

Der Fall begann beim Landgericht Hamburg 2024 und wurde in der Berufung vor dem OLG Hamburg (Aktenzeichen 5 U 104/24) am 10. Dezember 2025 entschieden. Der Fotograf Robert Kneschke wandte sich dagegen, dass eines seiner Bilder im Trainingsdatensatz der Organisation LAION landete. Sein Opt-out war in den Nutzungsbedingungen der Bildplattform formuliert, also in natürlicher Sprache.

Das OLG Hamburg hielt diesen Vorbehalt für unwirksam. Begründung: Er war nicht maschinenlesbar. Damit war die Schranke nach Art. 4 DSM-Richtlinie zugunsten von LAION anwendbar. Das Gericht stellte fest, dass Kneschkes TDM-Opt-out unwirksam war, weil er nicht maschinenlesbar ausgedrückt war (Deutschland, Hamburg).

Die Folgen für den DACH-Raum sind erheblich:

• Maschinenlesbarkeit ist Pflicht: Wer einen wirksamen Vorbehalt will, kann sich nicht auf AGB oder Disclaimer verlassen. Der Opt-out muss technisch hinterlegt sein.
• Erste obergerichtliche Leitlinie: Da es sich um die erste Entscheidung auf Berufungsebene in Deutschland handelt, hat sie Signalwirkung für die gesamte Region, auch wenn österreichische Gerichte formal nicht gebunden sind.
• Handlungsdruck für Rechteinhaber: Wer bisher nur natürlichsprachlich widersprochen hat, hat faktisch keinen wirksamen Schutz und sollte technisch nachbessern.

Ein Gegenbeispiel aus den USA zeigt die unterschiedliche Rechtslage. In Ziff Davis gegen OpenAI verglich das US-Verfahren robots.txt mit einem Betreten-verboten-Schild ohne eigene rechtliche Durchsetzungskraft. Anders als in der EU gibt es im US-Recht keinen TDM-Opt-out nach Art. 4. Maschinenlesbare Vorbehalte entfalten dort nicht dieselbe urheberrechtliche Wirkung wie im DACH-Raum.

EU AI Act Art. 53: Copyright-Pflicht der KI-Anbieter

Die zweite tragende Säule neben der DSM-Richtlinie ist der EU AI Act. Er verpflichtet die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (General-Purpose AI, GPAI), die urheberrechtlichen Vorbehalte zu respektieren. Nach Art. 53 Abs. 1 müssen GPAI-Anbieter eine Richtlinie zur Einhaltung des Urheberrechts der Union einführen und insbesondere, auch mittels modernster Technologien, einen nach Art. 4 Abs. 3 der Richtlinie 2019/790 ausgedrückten Rechtevorbehalt identifizieren und befolgen (EU). Diese Pflicht ist am 2. August 2025 in Kraft getreten.

Das verbindet die beiden Rechtsakte zu einem System. Die DSM-Richtlinie gibt dem Rechteinhaber das Werkzeug des maschinenlesbaren Vorbehalts an die Hand. Der AI Act verpflichtet die KI-Anbieter, diese Vorbehalte aktiv zu erkennen und einzuhalten. In der Praxis bedeutet die Formulierung mittels modernster Technologien, dass Anbieter genau jene maschinenlesbaren Signale auswerten müssen, die ein Website-Betreiber setzt: robots.txt, TDMRep und vergleichbare Standards.

Ergänzend fordert der begleitende Verhaltenskodex für GPAI (Code of Practice), dass Anbieter robots.txt nach dem offiziellen Standard RFC 9309 (Robots Exclusion Protocol) befolgen. Für Website-Betreiber ist das die entscheidende Brücke: Ein korrekt gesetzter robots.txt-Eintrag ist nicht nur ein technischer Wunsch, sondern ein Signal, das compliance-pflichtige KI-Anbieter nach EU-Recht beachten müssen.

Praktische robots.txt-Konfiguration für KI-Crawler

Die wirksame Steuerung beginnt damit, die relevanten User-Agents zu kennen. Jeder größere KI-Anbieter betreibt eigene Crawler, oft mit getrennten Bots für Training und für Echtzeit-Abrufe. Die Verbreitung der Opt-outs steigt: Laut Web Almanac 2024 fanden sich auf Desktop-robots.txt-Dateien GPTBot in 2,9 Prozent, CCBot in 2,7 Prozent, Google-Extended in 2,5 Prozent und Anthropic-ai in 2,1 Prozent (international). Diese Anteile waren 2024 noch jung und wachsen seither.

Die wichtigsten User-Agents und ihre Funktion:

• GPTBot: Crawler von OpenAI für das Training. Blockieren verhindert die Aufnahme in künftige Trainingsdaten.
• ChatGPT-User: Wird für Echtzeit-Abrufe ausgelöst, wenn ein ChatGPT-Nutzer aktiv eine Seite abruft. Das Blockieren betrifft die Live-Sichtbarkeit, nicht das Training.
• ClaudeBot: Trainings-Crawler von Anthropic. Anthropic-ai ist eine ältere zugehörige Kennung.
• Google-Extended: Kein eigener Crawler, sondern ein robots.txt-Token, das das Training von Gemini- und Vertex-AI-Modellen steuert.
• CCBot: Crawler von Common Crawl, dessen offene Datensätze von vielen KI-Modellen als Trainingsquelle genutzt werden.
• PerplexityBot: Crawler von Perplexity für dessen KI-Suchindex.

Eine typische Block-Strategie für Trainings-Crawler sieht so aus:

```
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /
```

Das Bild in der Praxis ist differenziert. Laut Cloudflare entfielen 2025 die meisten vollständigen Disallow-Direktiven auf KI-Crawler wie GPTBot, ClaudeBot und CCBot, während Googlebot und Bingbot überwiegend nur partiell gesperrt wurden (international). Betreiber blocken also gezielt reine KI-Trainings-Bots, lassen klassische Suchcrawler aber zu, um die organische Sichtbarkeit nicht zu verlieren.

Die Grenzen von robots.txt: freiwillige Compliance und Stealth-Crawler

robots.txt hat eine grundlegende Schwäche: Die Befolgung ist freiwillig. Die Datei ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran, und im EU-Raum sind sie nach dem AI Act dazu verpflichtet. Aber die Datei kann technisch ignoriert werden.

Der Fall Perplexity hat das deutlich gemacht. Cloudflare dokumentierte am 4. August 2025, dass Perplexity undeklarierte Stealth-Crawler einsetzte, die einen generischen Browser zur Imitation von Google Chrome auf macOS verwendeten, wenn der deklarierte Crawler blockiert wurde, und dabei robots.txt ignorierten oder teils nicht einmal abriefen (international). Die Bots nutzten dabei IP-Adressen außerhalb des offiziellen Bereichs und rotierten über verschiedene ASNs, um Blockaden zu umgehen. Cloudflare entzog Perplexity daraufhin den Verified-Bot-Status und blockierte die Stealth-Crawler über eigene Heuristiken.

Daraus folgen klare Grenzen:

• Keine technische Durchsetzung: robots.txt verhindert den Zugriff nicht, es signalisiert nur den Wunsch.
• Nicht-deklarierte Bots: Crawler, die sich als normaler Browser ausgeben, lassen sich per User-Agent-Regel nicht zuverlässig stoppen.
• IP- und ASN-Rotation: Wer über wechselnde Adressbereiche zugreift, unterläuft einfache IP-Sperren.

Für die rechtliche Bewertung bleibt der Vorbehalt dennoch wichtig. Auch wenn ein Crawler ihn technisch ignoriert, dokumentiert der maschinenlesbare Opt-out, dass der Rechteinhaber widersprochen hat. Das ist die Voraussetzung, um sich überhaupt auf Art. 4 Abs. 3 DSM-Richtlinie berufen zu können.

Ergänzende Standards: ai.txt, llms.txt und Really Simple Licensing

Neben robots.txt sind mehrere ergänzende Standards entstanden. Sie verfolgen unterschiedliche Ziele, von der reinen Blockade bis zur Lizenzierung.

• ai.txt: Eine separate Datei, die speziell den TDM-Vorbehalt nach Art. 4 ausdrücken soll. Sie ergänzt robots.txt um eine explizit urheberrechtliche Ebene.
• llms.txt: Funktioniert eher wie eine Sitemap für KI-Systeme. Sie soll Inhalte für die KI-Nutzung strukturiert auffindbar machen, ist also kein Block-, sondern ein Erschließungsstandard. Die Adoption ist bislang gering und steht am Anfang.
• Really Simple Licensing (RSL): Der wohl wichtigste neue Standard. RSL 1.0 wurde am 10. Dezember 2025 als offizielle Spezifikation veröffentlicht. Laut der Ankündigung definiert RSL 1.0 die zusätzlichen Nutzungskategorien ai-all, ai-input und ai-index, um Publishern feinere Kontrolle zu geben, und enthält eine neue Zahlungsoption namens contribution, mit der KI-Systeme zu monetären oder geldwerten Beiträgen verpflichtet werden können (international). Zu den Unterstützern zählen Yahoo, Ziff Davis und O'Reilly Media.

Der entscheidende konzeptionelle Unterschied liegt zwischen Blocken und Lizenzieren. robots.txt und ai.txt sagen nur Ja oder Nein zum Crawling. RSL geht weiter: Es erlaubt, Inhalte gegen Bedingungen oder Vergütung zur Verfügung zu stellen. Damit entsteht ein Mittelweg zwischen vollständiger Sperre und kostenloser Freigabe, der für kommerzielle Inhalteanbieter im B2B-Bereich interessant sein kann.

Der Zielkonflikt: AI-Training-Opt-out gegen GEO-Sichtbarkeit

Eine zentrale strategische Frage ist oft missverstanden. Das Blockieren von Trainings-Crawlern und die Auffindbarkeit in KI-Antworten sind zwei verschiedene Dinge. Wer GPTBot oder Google-Extended blockt, verhindert die Aufnahme in Trainingsdaten. Das beeinflusst aber nicht zwingend, ob die Inhalte in KI-Suchergebnissen oder Übersichten erscheinen.

Google-Extended illustriert das gut. Es ist ein robots.txt-Token zum Opt-out aus dem KI-Training von Gemini und Vertex AI, das aber die Aufnahme in die Google-Suche nicht beeinflusst und kein Ranking-Signal ist (international). Es steuert das Training, nicht das Erscheinen in AI Overviews. Wer Google-Extended blockt, bleibt also in der normalen Suche und in AI Overviews sichtbar, liefert aber keine Trainingsdaten.

Die Sichtbarkeit in KI-Antworten ist zugleich der wirtschaftlich relevante Faktor, weil KI-Übersichten Klicks abziehen. Laut einer internationalen Pew-Auswertung klickten Nutzer bei einer Suche mit KI-Übersicht in 8 Prozent der Fälle auf ein klassisches Ergebnis, gegenüber 15 Prozent ohne KI-Übersicht, und nur 1 Prozent klickte auf einen Link innerhalb der KI-Übersicht (international, USA, März 2025). Die Klickrate halbiert sich also fast. In diesem Umfeld kann es für B2B-Anbieter sinnvoll sein, in KI-Antworten zitiert zu werden, um überhaupt sichtbar zu bleiben, während das eigene Material gleichzeitig vor unkontrolliertem Training geschützt wird. Genau diese Trennung erlauben getrennte Direktiven für Trainings- und Live-Crawler.

Technische Durchsetzung jenseits von robots.txt

Weil robots.txt nur eine Bitte ist, braucht eine ernsthafte Strategie eine zweite Ebene: die serverseitige Durchsetzung. Hier greifen Edge, CDN und Bot-Management.

• WAF- und Edge-Blocking: Eine Web Application Firewall oder Edge-Regel kann Anfragen nach User-Agent, IP-Bereich oder Verhaltensmuster blockieren, bevor sie den Ursprungsserver erreichen. Das wirkt auch gegen Crawler, die robots.txt ignorieren.
• Bot-Management: Verhaltensbasierte Erkennung identifiziert automatisierte Zugriffe anhand von Signalen wie Anfragefrequenz oder fehlenden Browser-Merkmalen, nicht nur am deklarierten User-Agent.
• Cloudflare AI-Crawler-Kontrollen: Cloudflare bietet dedizierte Schalter, um bekannte KI-Crawler zentral zu blockieren, und reagierte im Fall Perplexity mit eigenen Heuristiken gegen Stealth-Crawling.
• Pay-per-Crawl-Ansätze: Neuere Modelle erlauben es, KI-Crawlern den Zugriff nur gegen Bezahlung zu gewähren. Das verbindet die technische Sperre mit einem Lizenzgedanken, ähnlich der RSL-Logik.

Diese Ebene ist die einzige mit echter technischer Wirkung. Sie ersetzt den rechtlichen Vorbehalt nicht, sondern ergänzt ihn. Erst die Kombination aus dokumentiertem Opt-out und tatsächlicher Blockade deckt sowohl die rechtliche als auch die praktische Seite ab.

Häufige Fehler beim AI-Crawler-Management

• Opt-out nur in den AGB: Der häufigste und nach dem OLG Hamburg gravierendste Fehler. Ein natürlichsprachlicher Hinweis ist rechtlich unwirksam, weil nicht maschinenlesbar.
• robots.txt als Sperre missverstehen: Die Datei verhindert keinen Zugriff. Wer glaubt, damit sei der Schutz technisch garantiert, irrt.
• Training und Live-Abruf vermengen: Wer pauschal alle KI-Bots blockt, verliert eventuell GEO-Sichtbarkeit, ohne es zu wollen. Trainings- und Echtzeit-Crawler brauchen getrennte Regeln.
• Veraltete User-Agent-Listen: KI-Anbieter führen neue Crawler ein und ändern Kennungen. Eine einmal geschriebene robots.txt veraltet schnell.
• Kein serverseitiges Backup: Sich allein auf robots.txt zu verlassen, lässt Stealth-Crawler und nicht-deklarierte Bots ungehindert passieren.
• Fehlende Dokumentation: Ohne Nachweis, wann welcher Vorbehalt gesetzt wurde, lässt sich im Streitfall schwer belegen, dass aktiv widersprochen wurde.

Metriken und Messung: Crawler-Zugriffe sichtbar machen

AI-Crawler-Management lässt sich messen, auch wenn es keinen einzelnen Erfolgswert gibt. Sinnvolle Kennzahlen und Prüfpunkte:

• KI-Bot-Anteil am Traffic: Werte Server- oder CDN-Logs nach KI-User-Agents aus. Als Benchmark gilt der von Cloudflare gemessene Durchschnitt von rund 4,2 Prozent der HTML-Requests im Jahr 2025.
• Block-Wirksamkeit: Prüfe, ob blockierte Crawler tatsächlich keine erfolgreichen Abrufe mehr haben. Anhaltende Zugriffe trotz Disallow deuten auf nicht-konforme oder Stealth-Bots hin.
• Anomalie-Erkennung: Achte auf untypische Muster wie Browser-User-Agents mit Server-typischem Verhalten oder Zugriffe aus rotierenden ASNs.
• Vorbehalts-Vollständigkeit: Kontrolliere regelmäßig, ob robots.txt, TDMRep-Signal und gegebenenfalls RSL konsistent und aktuell sind.
• GEO-Sichtbarkeit: Beobachte, ob und wie deine Inhalte in KI-Antworten und AI Overviews zitiert werden, um den Zielkonflikt zwischen Schutz und Auffindbarkeit zu steuern.

Für den Einstieg genügt die Auswertung der eigenen Logs in Kombination mit den Bot-Reports des eingesetzten CDN. Wichtig ist die regelmäßige Wiederholung, weil sich sowohl die Crawler-Landschaft als auch die rechtlichen Anforderungen schnell verändern.

Handlungsempfehlung und Weiterführendes

Für B2B-Websites, insbesondere auf Next.js- und Edge-Architekturen, empfiehlt sich eine mehrschichtige Strategie. Sie deckt die rechtliche und die technische Ebene zugleich ab.

• Maschinenlesbarer Vorbehalt: Setze einen TDM-Vorbehalt nach Art. 4 Abs. 3 DSM-Richtlinie in maschinenlesbarer Form. robots.txt mit gezielten Disallow-Direktiven für Trainings-Crawler bildet die Basis, ergänzt um ein TDMRep-Signal per HTTP-Header oder Markup.
• Getrennte Crawler-Logik: Trenne Trainings-Bots wie GPTBot, ClaudeBot, CCBot und Google-Extended von Live- und Such-Crawlern, damit der Schutz des Trainings die GEO-Sichtbarkeit nicht beschädigt.
• Serverseitiges Blocking: Ergänze den Vorbehalt um echte Durchsetzung über WAF, Edge oder das Bot-Management deines CDN, um Stealth-Crawler und nicht-deklarierte Bots abzufangen.
• Dokumentation: Halte fest, wann welcher Vorbehalt gesetzt wurde. Im Streitfall ist der dokumentierte, maschinenlesbare Opt-out die Grundlage, um sich auf Art. 4 zu berufen.

Die Rechtslage ist noch jung und entwickelt sich. Das OLG Hamburg hat eine erste Linie gezogen, der AI Act hat die Pflichten der Anbieter ab August 2025 verbindlich gemacht, und neue Standards wie RSL entstehen schnell. Wer heute handelt, sollte die mehrschichtige Strategie umsetzen und die Entwicklung beobachten. Verwandte Themen sind die technische robots.txt-Konfiguration, strukturierte Daten und Schema, die DSGVO-konforme Datenverarbeitung sowie GEO und die Sichtbarkeit in KI-Antworten.