robots.txt und AI: EU-Rechtslage und TDM-Opt-out
Das Hamburger Oberlandesgericht entschied am 10. Dezember 2025, dass natürlichsprachliche Opt-outs in Nutzungsbedingungen unzureichend sind — Opt-outs müssen maschinenlesbar erfolgen (robots.txt, TDM Reservation Protocol, ai.txt). Ein US-Gericht (Ziff Davis v. OpenAI) verglich robots.txt mit einem „Betreten verboten"-Schild ohne rechtliche Durchsetzungskraft.
Auf einen Blick
- ✓Hamburger OLG (Dez 2025): Opt-outs müssen maschinenlesbar sein
- ✓Natürlichsprachliche Opt-outs in AGB sind rechtlich unzureichend
- ✓EU Copyright Directive Art. 4: Kommerzielles TDM erlaubt, Opt-out möglich
- ✓EU AI Act Art. 53 (ab 2. Aug 2025): AI-Anbieter müssen Copyright-Compliance implementieren
- ✓US: Ziff Davis v. OpenAI — robots.txt hat keine rechtliche Durchsetzungskraft (DMCA)
- ✓Emerging Standards: llms.txt (AI-Sitemap) und ai.txt (TDM Art. 4 Opt-out)
- ✓GPAI Code of Practice fordert robots.txt-Befolgung per RFC 9309
Die Rechtslage für AI-Crawling hat sich 2025 dramatisch verschärft — insbesondere in der EU.
EU Copyright Directive
Artikel 3 und 4 bilden das rechtliche Rückgrat. Artikel 4 erlaubt kommerzielles Text- und Data-Mining, gestattet aber Rechteinhabern den Opt-out „in angemessener Weise, einschließlich maschinenlesbarer Mittel."
Hamburger OLG-Urteil
Das Hamburger Oberlandesgericht entschied am 10. Dezember 2025 (OLG Hamburg 5 U 104/24), dass natürlichsprachliche Opt-outs in Nutzungsbedingungen unzureichend sind. Opt-outs müssen maschinenlesbar erfolgen: robots.txt, TDM Reservation Protocol Header oder ai.txt-Metadaten.
EU AI Act
Artikel 53 (seit 2. August 2025 in Kraft) verpflichtet AI-Modellanbieter, Copyright-Compliance-Richtlinien zu implementieren und „state-of-the-art Technologien" zur Erkennung von Rechtsvorbehalten einzusetzen. Der GPAI Code of Practice (März 2025) fordert, dass Unterzeichner Crawler einsetzen, die robots.txt per RFC 9309 lesen und befolgen.
Implementierung
Minimale DACH-konforme Implementierung: robots.txt mit spezifischen AI-Bot-Regeln, TDM-Reservation: 1 HTTP-Header für gesperrte Inhalte, Dokumentation der maschinenlesbaren Opt-outs für rechtliche Nachweisbarkeit.
Daten & Statistiken
12,9% der AI-Bot-Requests ignorieren robots.txt (Q1 2025)
TollBit (2025)US-Gericht: robots.txt hat keine „effective control" über Content-Zugang
Ziff Davis v. OpenAI (15. Dez 2025) (2025)“”
— Gary Illyes, Google Search Analyst