robots.txt und AI: EU-Rechtslage und TDM-Opt-out

Warum robots.txt und AI-Crawler-Management jetzt rechtlich relevant sind

Lange war robots.txt ein rein technisches Werkzeug zur Crawler-Steuerung. Mit dem Aufkommen von KI-Trainingsdaten ist daraus eine rechtliche Frage geworden. Das Hamburger Oberlandesgericht entschied am 10. Dezember 2025 im Verfahren Kneschke gegen LAION, dass ein Text-und-Data-Mining-Vorbehalt (TDM-Opt-out) nur dann wirksam ist, wenn er maschinenlesbar erfolgt. Natürlichsprachliche Hinweise in Nutzungsbedingungen oder Disclaimern reichten im entschiedenen Fall nicht aus. Es ist die erste obergerichtliche Entscheidung in Deutschland zu den Urheberrechtsschranken beim KI-Training. Rechtskräftig ist sie nicht. Das OLG hat die Revision zugelassen, und der Bundesgerichtshof (I ZR 281/25) verhandelte sie am 3. September 2026; seine Entscheidung will er am 17. Dezember 2026 verkünden (Stand Oktober 2026). In der Verhandlung ließ der I. Zivilsenat europarechtlichen Klärungsbedarf erkennen; möglich ist, dass er Fragen zum Text und Data Mining dem Europäischen Gerichtshof vorlegt.

Für B2B-Websites in Deutschland und Österreich verschiebt das die Prioritäten. Wer verhindern will, dass seine Inhalte ohne Erlaubnis in KI-Trainingsdaten landen, sollte diesen Vorbehalt technisch und maschinenlesbar setzen. Auf einen Satz in natürlicher Sprache im Impressum kann man sich nach dem OLG Hamburg in Deutschland nicht verlassen, in Österreich ist er zumindest unsicher. Gleichzeitig wächst der Datenhunger der KI-Crawler messbar: Laut Cloudflare entfielen im Jahresdurchschnitt 2025 rund 4,2 Prozent aller HTML-Requests auf KI-Bots, während Googlebot allein 4,5 Prozent ausmachte (international). robots.txt ist damit nicht mehr nur eine Frage von Crawl-Budget, sondern von Rechtsdurchsetzung und Datensouveränität.

Ein Hinweis zur Datenbasis: Die rechtlichen Kernaussagen dieses Artikels beziehen sich auf EU-Recht und seine Umsetzung in Deutschland und Österreich und sind als solche gekennzeichnet. Die Crawler- und Adoptionsstatistiken stammen überwiegend aus internationalen Erhebungen (Cloudflare, HTTP Archive, Pew) und dienen als Benchmark.

Die Rechtsgrundlage: Art. 4 DSM-Richtlinie und die Umsetzung in AT und DE

Die rechtliche Basis des TDM-Opt-outs ist Artikel 4 der EU-Urheberrechtsrichtlinie im digitalen Binnenmarkt (DSM-Richtlinie, 2019/790). Sie erlaubt Text und Data Mining grundsätzlich auch zu kommerziellen Zwecken, also auch das Sammeln von Webinhalten für KI-Training. Entscheidend ist Art. 4 Abs. 3: Rechteinhaber können diese Nutzung untersagen, indem sie sich die Rechte ausdrücklich und in angemessener Weise vorbehalten, etwa mit maschinenlesbaren Mitteln im Fall von online veröffentlichten Inhalten. Im Artikeltext ist Maschinenlesbarkeit nur ein Beispiel. Erwägungsgrund 18 ist strenger, jedenfalls in der englischen Sprachfassung: Bei Online-Inhalten soll ein Vorbehalt nur dann als angemessen gelten, wenn er mit maschinenlesbaren Mitteln erfolgt. Dazu zählt er ausdrücklich auch Metadaten und die Geschäftsbedingungen einer Website oder eines Dienstes. In der deutschen Fassung fehlt dieses „nur“. Ob ein Vorbehalt in natürlicher Sprache in den Geschäftsbedingungen als maschinenlesbar gilt, ist der Kern der gesamten Debatte.

Die Umsetzung in nationales Recht ist erfolgt, aber nicht gleichlautend. In Deutschland regelt § 44b UrhG das Text und Data Mining. Sein Abs. 3 macht aus dem Beispiel der Richtlinie eine Wirksamkeitsvoraussetzung: Ein Nutzungsvorbehalt bei online zugänglichen Werken ist nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt. In Österreich ist es § 42h des Urheberrechtsgesetzes (UrhG). Nach Abs. 6 entfällt die Schranke, wenn die Vervielfältigung ausdrücklich verboten und das Verbot in angemessener Weise durch einen Nutzungsvorbehalt kenntlich gemacht wird, etwa bei über das Internet öffentlich zugänglich gemachten Werken mit maschinenlesbaren Mitteln. Österreich übernimmt damit die Formulierung der Richtlinie. Ob ein Hinweis in natürlicher Sprache in den Geschäftsbedingungen dort als angemessener Vorbehalt genügt, ist offen. Daraus ergibt sich die Logik:

• Grundregel: Kommerzielles TDM ist erlaubt. Ohne wirksamen Vorbehalt dürfen KI-Anbieter öffentlich zugängliche Inhalte für das Training nutzen.
• Opt-out statt Opt-in: Der Schutz greift nicht automatisch. Rechteinhaber müssen aktiv widersprechen.
• Form online: In Deutschland ist der Vorbehalt bei Online-Inhalten nur wirksam, wenn er maschinenlesbar ist. In Österreich nennt das Gesetz maschinenlesbare Mittel als Beispiel für einen angemessenen Vorbehalt.

Für österreichische Unternehmen heißt das konkret: Der Schutz nach § 42h UrhG entsteht nicht von selbst. Er muss aktiv erklärt werden, am besten so, dass eine Maschine ihn lesen und auswerten kann. Diese Form nennt das Gesetz ausdrücklich, und sie genügt auch dem strengeren deutschen Maßstab.

Im Schweizer Recht gibt es diese Regelung nicht. Die Schweiz ist kein EU-Mitglied, die DSM-Richtlinie ist dort nicht anwendbar. Laut dem Bericht der Schweizer Gruppe der AIPPI zu Urheberrecht und KI kennt das Schweizer Urheberrechtsgesetz keine Schranke, die speziell für das Training von KI-Modellen geschaffen wurde. Für Text und Data Mining zu Forschungszwecken gilt Art. 24d URG, ohne Möglichkeit eines Nutzungsvorbehalts. Einen Opt-out nach dem Muster von Art. 4 Abs. 3 DSM-Richtlinie gibt es im Schweizer Recht nicht.

Bedeutungslos ist ein maschinenlesbarer Vorbehalt für Schweizer Websites trotzdem nicht. Nach Erwägungsgrund 106 des AI Act sollen Anbieter, die ein KI-Modell mit allgemeinem Verwendungszweck in der EU auf den Markt bringen, Vorbehalte nach Art. 4 Abs. 3 DSM-Richtlinie einhalten, unabhängig davon, in welchem Land das Training stattfindet. Ein solcher Vorbehalt kann deshalb auch für Inhalte auf Schweizer Websites wirken.

Was bedeutet maschinenlesbar? Gängige Methoden und ihre Grenzen

Der Begriff maschinenlesbar ist im Gesetz nicht abschließend definiert. In der Praxis sind mehrere Verfahren verbreitet, aber nicht jedes drückt einen urheberrechtlichen Vorbehalt aus. robots.txt und TDMRep lassen sich kombinieren, um die rechtliche Wirkung zu stützen.

• robots.txt: Die Datei im Wurzelverzeichnis steuert per User-Agent-Direktiven, welche Crawler welche Pfade abrufen dürfen. Sie ist der bekannteste und am weitesten verbreitete Mechanismus und wird von den meisten KI-Anbietern als Opt-out-Signal akzeptiert.
• HTML-Meta-Tags und Robots-Direktiven: Tags wie noindex, nosnippet oder max-snippet steuern Indexierung und Snippets. Laut Google begrenzen sie, was die Suche einschließlich ihrer KI-Funktionen von einer Seite zeigt. Ein ausdrücklicher TDM-Vorbehalt sind sie nicht, und sie kosten Sichtbarkeit: noindex nimmt die Seite ganz aus der Google-Suche.
• HTTP-Header: Über den X-Robots-Tag-Header lassen sich dieselben Direktiven serverseitig setzen, auch für Nicht-HTML-Ressourcen wie PDF oder Bilder. Für sie gilt dieselbe Einschränkung.
• TDM Reservation Protocol (TDMRep): Eine Spezifikation der W3C Community Group TDM Reservation Protocol, kein offizieller W3C-Standard. Sie drückt den Vorbehalt nach Art. 4 DSM-Richtlinie explizit aus, per HTTP-Header, per Datei unter /.well-known/tdmrep.json oder per HTML-Meta-Tag. TDMRep wurde speziell für die rechtliche Anforderung des Art. 4 entworfen.

Wichtig ist die Unterscheidung zwischen Zweck und Form. robots.txt steuert technisch das Crawling. TDMRep adressiert gezielt den urheberrechtlichen Vorbehalt. Wer rechtssicher arbeiten will, sollte beides setzen, weil das OLG Hamburg ausdrücklich die maschinenlesbare Form verlangt, ohne ein einzelnes Format vorzuschreiben.

Die Kneschke-gegen-LAION-Entscheidung und ihre Folgen für Deutschland und Österreich

Das Landgericht Hamburg wies die Klage am 27. September 2024 ab (310 O 227/23). In der Berufung entschied das OLG Hamburg (Aktenzeichen 5 U 104/24) am 10. Dezember 2025. Der Fotograf Robert Kneschke wandte sich dagegen, dass eines seiner Bilder im Trainingsdatensatz der Organisation LAION landete. Sein Opt-out war in den Nutzungsbedingungen der Bildplattform formuliert, also in natürlicher Sprache.

Das OLG Hamburg hielt diesen Vorbehalt für unwirksam. Begründung: Der Hinweis auf der Website der Bildagentur hatte zum Zeitpunkt des Downloads nicht die gesetzlich vorgesehene maschinenlesbare Form (§ 44b Abs. 3 Satz 2 UrhG). Damit war die Schranke des § 44b UrhG, die Art. 4 DSM-Richtlinie umsetzt, zugunsten von LAION anwendbar. Maßstab war laut Freshfields der Stand beim Download im Jahr 2021. Wie ein solcher Hinweis mit heutiger Technik zu bewerten ist, hat das Gericht damit nicht entschieden. Zusätzlich stützte das OLG die Nutzung auf die Schranke für wissenschaftliche Forschung nach § 60d UrhG, gegen die es keinen Vorbehalt gibt. Dieser Teil trägt bei LAION als nicht kommerziellem Forschungsverein, bei kommerziellen KI-Anbietern in der Regel nicht. Für sie zählt § 44b UrhG und damit der maschinenlesbare Vorbehalt. Das Urteil ist nicht rechtskräftig (siehe oben). Offen sind laut der Analyse von Norton Rose Fulbright unter anderem die Beweislast und die Frage, was genau als maschinenlesbar gilt.

Die Folgen für Deutschland und Österreich sind erheblich:

• In Deutschland ist Maschinenlesbarkeit Pflicht: Wer einen wirksamen Vorbehalt will, kann sich nicht auf AGB oder Disclaimer verlassen. Der Opt-out muss technisch hinterlegt sein.
• In Österreich ist sie dringend zu empfehlen: Das Gesetz nennt maschinenlesbare Mittel als Beispiel. Ob ein AGB-Hinweis genügt, ist ungeklärt; ein technischer Vorbehalt erspart diese Frage.
• Erste obergerichtliche Leitlinie: Da es sich um die erste Entscheidung auf Berufungsebene in Deutschland handelt, hat sie Signalwirkung auch für Österreich, obwohl österreichische Gerichte formal nicht gebunden sind.
• Handlungsdruck für Rechteinhaber: Wer bisher nur natürlichsprachlich widersprochen hat, kann sich weder in Deutschland noch in Österreich auf diesen Vorbehalt verlassen. Technisch nachzubessern lohnt sich in beiden Ländern.

Ein Gegenbeispiel aus den USA zeigt die unterschiedliche Rechtslage. In Ziff Davis gegen OpenAI verglich das US-Verfahren robots.txt mit einem Betreten-verboten-Schild ohne eigene rechtliche Durchsetzungskraft. Anders als in der EU gibt es im US-Recht keinen TDM-Opt-out nach Art. 4. Maschinenlesbare Vorbehalte entfalten dort nicht dieselbe urheberrechtliche Wirkung wie in der EU.

EU AI Act Art. 53: Copyright-Pflicht der KI-Anbieter

Die zweite tragende Säule neben der DSM-Richtlinie ist der EU AI Act. Er verpflichtet die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (General-Purpose AI, GPAI), die urheberrechtlichen Vorbehalte zu respektieren. Nach Art. 53 Abs. 1 müssen GPAI-Anbieter eine Richtlinie zur Einhaltung des Urheberrechts der Union einführen und insbesondere, auch mittels modernster Technologien, einen nach Art. 4 Abs. 3 der Richtlinie 2019/790 ausgedrückten Rechtevorbehalt identifizieren und befolgen (EU). Der AI Act ist seit 1. August 2024 in Kraft, diese Pflicht gilt seit 2. August 2025. Für Modelle, die schon vorher auf dem Markt waren, läuft eine Übergangsfrist bis 2. August 2027.

Das verbindet die beiden Rechtsakte zu einem System. Die DSM-Richtlinie gibt dem Rechteinhaber das Werkzeug des maschinenlesbaren Vorbehalts an die Hand. Der AI Act verpflichtet die KI-Anbieter, diese Vorbehalte aktiv zu erkennen und einzuhalten. In der Praxis bedeutet die Formulierung mittels modernster Technologien, dass Anbieter genau jene maschinenlesbaren Signale auswerten müssen, die ein Website-Betreiber setzt: robots.txt, TDMRep und vergleichbare Standards.

Ergänzend gibt es den freiwilligen Verhaltenskodex für GPAI (Code of Practice), veröffentlicht am 10. Juli 2025. Wer ihn unterzeichnet, verpflichtet sich im Copyright-Kapitel (Maßnahme 1.3), Crawler einzusetzen, die robots.txt nach dem Standard RFC 9309 (Robots Exclusion Protocol) lesen und befolgen. Für Website-Betreiber ist das die entscheidende Brücke: Ein korrekt gesetzter robots.txt-Eintrag ist das verbreitetste maschinenlesbare Signal für einen Vorbehalt. GPAI-Anbieter müssen solche Vorbehalte nach Art. 53 AI Act erkennen und einhalten, die Unterzeichner des Kodex haben sich zusätzlich auf robots.txt festgelegt.

Praktische robots.txt-Konfiguration für KI-Crawler

Die wirksame Steuerung beginnt damit, die relevanten User-Agents zu kennen. Jeder größere KI-Anbieter betreibt eigene Crawler, oft mit getrennten Bots für Training und für Echtzeit-Abrufe. Die Verbreitung der Opt-outs steigt: Laut Web Almanac 2024 fanden sich auf Desktop-robots.txt-Dateien GPTBot in 2,9 Prozent, CCBot in 2,7 Prozent, Google-Extended in 2,5 Prozent und Anthropic-ai in 2,1 Prozent (international). Diese Anteile waren 2024 noch jung und wachsen seither.

Die wichtigsten User-Agents und ihre Funktion:

• GPTBot: Crawler von OpenAI für das Training. Blockieren verhindert die Aufnahme in künftige Trainingsdaten.
• ChatGPT-User: Ruft Seiten ab, wenn ein ChatGPT-Nutzer das auslöst. Laut OpenAI greifen robots.txt-Regeln dafür möglicherweise nicht. Ob Inhalte in der ChatGPT-Suche erscheinen, steuert OAI-SearchBot.
• ClaudeBot: Trainings-Crawler von Anthropic. Anthropic-ai ist eine ältere zugehörige Kennung.
• Google-Extended: Kein eigener Crawler, sondern ein robots.txt-Token. Es steuert, ob Google Inhalte für das Training von Gemini-Modellen und für das Grounding in Gemini Apps und Vertex AI nutzt.
• CCBot: Crawler von Common Crawl, dessen offene Datensätze von vielen KI-Modellen als Trainingsquelle genutzt werden.
• PerplexityBot: Crawler von Perplexity für dessen KI-Suchindex.

Eine typische Block-Strategie für Trainings-Crawler sieht so aus:

```
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /
```

Das Bild in der Praxis ist differenziert. Laut Cloudflare entfielen 2025 die meisten vollständigen Disallow-Direktiven auf KI-Crawler wie GPTBot, ClaudeBot und CCBot, während Googlebot und Bingbot überwiegend nur partiell gesperrt wurden (international). Betreiber blocken also gezielt reine KI-Trainings-Bots, lassen klassische Suchcrawler aber zu, um die organische Sichtbarkeit nicht zu verlieren.

Die Grenzen von robots.txt: freiwillige Compliance und Stealth-Crawler

robots.txt hat eine grundlegende Schwäche: Die Befolgung ist freiwillig. Die Datei ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran. Im EU-Raum müssen GPAI-Anbieter nach dem AI Act Rechtevorbehalte erkennen und einhalten; die Unterzeichner des Code of Practice haben sich zusätzlich verpflichtet, robots.txt zu befolgen. Aber die Datei kann technisch ignoriert werden.

Der Fall Perplexity hat das deutlich gemacht. Cloudflare dokumentierte am 4. August 2025, dass Perplexity undeklarierte Stealth-Crawler einsetzte, die einen generischen Browser zur Imitation von Google Chrome auf macOS verwendeten, wenn der deklarierte Crawler blockiert wurde, und dabei robots.txt ignorierten oder teils nicht einmal abriefen (international). Die Bots nutzten dabei IP-Adressen außerhalb des offiziellen Bereichs und rotierten über verschiedene ASNs, um Blockaden zu umgehen. Cloudflare entzog Perplexity daraufhin den Verified-Bot-Status und blockierte die Stealth-Crawler über eigene Heuristiken.

Daraus folgen klare Grenzen:

• Keine technische Durchsetzung: robots.txt verhindert den Zugriff nicht, es signalisiert nur den Wunsch.
• Nicht-deklarierte Bots: Crawler, die sich als normaler Browser ausgeben, lassen sich per User-Agent-Regel nicht zuverlässig stoppen.
• IP- und ASN-Rotation: Wer über wechselnde Adressbereiche zugreift, unterläuft einfache IP-Sperren.

Für die rechtliche Bewertung bleibt der Vorbehalt dennoch wichtig. Auch wenn ein Crawler ihn technisch ignoriert, dokumentiert der maschinenlesbare Opt-out, dass der Rechteinhaber widersprochen hat. Das ist die Voraussetzung, um sich überhaupt auf Art. 4 Abs. 3 DSM-Richtlinie berufen zu können.

Ergänzende Standards: ai.txt, llms.txt und Really Simple Licensing

Neben robots.txt sind mehrere ergänzende Standards entstanden. Sie verfolgen unterschiedliche Ziele, von der reinen Blockade bis zur Lizenzierung.

• ai.txt: Eine separate Datei, die speziell den TDM-Vorbehalt nach Art. 4 ausdrücken soll. Sie ergänzt robots.txt um eine explizit urheberrechtliche Ebene.
• llms.txt: Funktioniert eher wie eine Sitemap für KI-Systeme. Sie soll Inhalte für die KI-Nutzung strukturiert auffindbar machen, ist also kein Block-, sondern ein Erschließungsstandard. Die Adoption ist bislang gering und steht am Anfang.
• Really Simple Licensing (RSL): Der wohl wichtigste neue Standard. RSL 1.0 wurde am 10. Dezember 2025 als offizielle Spezifikation veröffentlicht. Laut der Ankündigung definiert RSL 1.0 die zusätzlichen Nutzungskategorien ai-all, ai-input und ai-index, um Publishern feinere Kontrolle zu geben, und enthält eine neue Zahlungsoption namens contribution, mit der KI-Systeme zu monetären oder geldwerten Beiträgen verpflichtet werden können (international). Zu den Unterstützern zählen Yahoo, Ziff Davis und O'Reilly Media.

Der entscheidende konzeptionelle Unterschied liegt zwischen Blocken und Lizenzieren. robots.txt und ai.txt sagen nur Ja oder Nein zum Crawling. RSL geht weiter: Es erlaubt, Inhalte gegen Bedingungen oder Vergütung zur Verfügung zu stellen. Damit entsteht ein Mittelweg zwischen vollständiger Sperre und kostenloser Freigabe, der für kommerzielle Inhalteanbieter im B2B-Bereich interessant sein kann.

Der Zielkonflikt: AI-Training-Opt-out gegen GEO-Sichtbarkeit

Eine zentrale strategische Frage ist oft missverstanden. Das Blockieren von Trainings-Crawlern und die Auffindbarkeit in KI-Antworten sind zwei verschiedene Dinge. Wer GPTBot oder Google-Extended blockt, verhindert die Aufnahme in Trainingsdaten. Das beeinflusst aber nicht zwingend, ob die Inhalte in KI-Suchergebnissen oder Übersichten erscheinen.

Google-Extended illustriert das gut. Es ist ein robots.txt-Token zum Opt-out aus dem KI-Training von Gemini und Vertex AI, das aber die Aufnahme in die Google-Suche nicht beeinflusst und kein Ranking-Signal ist (international). Laut Google steuert das Token außerdem das Grounding in Gemini Apps und bei Grounding with Google Search auf Vertex AI, also ob Inhalte aus dem Suchindex bei einer Anfrage in die Antwort des Modells einfließen. Wer Google-Extended blockt, bleibt in der normalen Suche und in AI Overviews sichtbar. Gemini nutzt die Inhalte dann aber weder für das Training noch als Grundlage für seine Antworten.

Die Sichtbarkeit in KI-Antworten ist zugleich der wirtschaftlich relevante Faktor, weil KI-Übersichten Klicks abziehen. Laut einer internationalen Pew-Auswertung klickten Nutzer bei einer Suche mit KI-Übersicht in 8 Prozent der Fälle auf ein klassisches Ergebnis, gegenüber 15 Prozent ohne KI-Übersicht, und nur 1 Prozent klickte auf einen Link innerhalb der KI-Übersicht (international, USA, März 2025). Die Klickrate halbiert sich also fast. In diesem Umfeld kann es für B2B-Anbieter sinnvoll sein, in KI-Antworten zitiert zu werden, um überhaupt sichtbar zu bleiben, während das eigene Material gleichzeitig vor unkontrolliertem Training geschützt wird. Genau diese Trennung erlauben getrennte Direktiven für Trainings- und Such-Crawler.

Technische Durchsetzung jenseits von robots.txt

Weil robots.txt nur eine Bitte ist, braucht eine ernsthafte Strategie eine zweite Ebene: die serverseitige Durchsetzung. Hier greifen Edge, CDN und Bot-Management.

• WAF- und Edge-Blocking: Eine Web Application Firewall oder Edge-Regel kann Anfragen nach User-Agent, IP-Bereich oder Verhaltensmuster blockieren, bevor sie den Ursprungsserver erreichen. Das wirkt auch gegen Crawler, die robots.txt ignorieren.
• Bot-Management: Verhaltensbasierte Erkennung identifiziert automatisierte Zugriffe anhand von Signalen wie Anfragefrequenz oder fehlenden Browser-Merkmalen, nicht nur am deklarierten User-Agent.
• Cloudflare AI-Crawler-Kontrollen: Cloudflare bietet dedizierte Schalter, um bekannte KI-Crawler zentral zu blockieren, und reagierte im Fall Perplexity mit eigenen Heuristiken gegen Stealth-Crawling.
• Pay-per-Crawl-Ansätze: Neuere Modelle erlauben es, KI-Crawlern den Zugriff nur gegen Bezahlung zu gewähren. Das verbindet die technische Sperre mit einem Lizenzgedanken, ähnlich der RSL-Logik.

Diese Ebene ist die einzige mit echter technischer Wirkung. Sie ersetzt den rechtlichen Vorbehalt nicht, sondern ergänzt ihn. Erst die Kombination aus dokumentiertem Opt-out und tatsächlicher Blockade deckt sowohl die rechtliche als auch die praktische Seite ab.

Häufige Fehler beim AI-Crawler-Management

• Opt-out nur in den AGB: Der häufigste und nach dem OLG Hamburg gravierendste Fehler. In Deutschland kann man sich nach diesem Urteil nicht auf einen natürlichsprachlichen Hinweis verlassen, in Österreich ist er zumindest unsicher.
• robots.txt als Sperre missverstehen: Die Datei verhindert keinen Zugriff. Wer glaubt, damit sei der Schutz technisch garantiert, irrt.
• Training und Suche vermengen: Wer pauschal alle KI-Bots blockt, verliert eventuell GEO-Sichtbarkeit, ohne es zu wollen. Trainings- und Such-Crawler brauchen getrennte Regeln.
• Veraltete User-Agent-Listen: KI-Anbieter führen neue Crawler ein und ändern Kennungen. Eine einmal geschriebene robots.txt veraltet schnell.
• Kein serverseitiges Backup: Sich allein auf robots.txt zu verlassen, lässt Stealth-Crawler und nicht-deklarierte Bots ungehindert passieren.
• Fehlende Dokumentation: Ohne Nachweis, wann welcher Vorbehalt gesetzt wurde, lässt sich im Streitfall schwer belegen, dass aktiv widersprochen wurde.

Metriken und Messung: Crawler-Zugriffe sichtbar machen

AI-Crawler-Management lässt sich messen, auch wenn es keinen einzelnen Erfolgswert gibt. Sinnvolle Kennzahlen und Prüfpunkte:

• KI-Bot-Anteil am Traffic: Werte Server- oder CDN-Logs nach KI-User-Agents aus. Als Benchmark gilt der von Cloudflare gemessene Durchschnitt von rund 4,2 Prozent der HTML-Requests im Jahr 2025.
• Block-Wirksamkeit: Prüfe, ob blockierte Crawler tatsächlich keine erfolgreichen Abrufe mehr haben. Anhaltende Zugriffe trotz Disallow deuten auf nicht-konforme oder Stealth-Bots hin.
• Anomalie-Erkennung: Achte auf untypische Muster wie Browser-User-Agents mit Server-typischem Verhalten oder Zugriffe aus rotierenden ASNs.
• Vorbehalts-Vollständigkeit: Kontrolliere regelmäßig, ob robots.txt, TDMRep-Signal und gegebenenfalls RSL konsistent und aktuell sind.
• GEO-Sichtbarkeit: Beobachte, ob und wie deine Inhalte in KI-Antworten und AI Overviews zitiert werden, um den Zielkonflikt zwischen Schutz und Auffindbarkeit zu steuern.

Für den Einstieg genügt die Auswertung der eigenen Logs in Kombination mit den Bot-Reports des eingesetzten CDN. Wichtig ist die regelmäßige Wiederholung, weil sich sowohl die Crawler-Landschaft als auch die rechtlichen Anforderungen schnell verändern.

Handlungsempfehlung und Weiterführendes

Für B2B-Websites, insbesondere auf Next.js- und Edge-Architekturen, empfiehlt sich eine mehrschichtige Strategie. Sie deckt die rechtliche und die technische Ebene zugleich ab.

• Maschinenlesbarer Vorbehalt: Setze einen TDM-Vorbehalt nach Art. 4 Abs. 3 DSM-Richtlinie in maschinenlesbarer Form. robots.txt mit gezielten Disallow-Direktiven für Trainings-Crawler bildet die Basis, ergänzt um ein TDMRep-Signal per HTTP-Header oder Markup.
• Getrennte Crawler-Logik: Trenne Trainings-Bots wie GPTBot, ClaudeBot, CCBot und Google-Extended von Such-Crawlern wie OAI-SearchBot und PerplexityBot, damit der Schutz des Trainings die GEO-Sichtbarkeit nicht beschädigt.
• Serverseitiges Blocking: Ergänze den Vorbehalt um echte Durchsetzung über WAF, Edge oder das Bot-Management deines CDN, um Stealth-Crawler und nicht-deklarierte Bots abzufangen.
• Dokumentation: Halte fest, wann welcher Vorbehalt gesetzt wurde. Im Streitfall ist der dokumentierte, maschinenlesbare Opt-out die Grundlage, um sich auf Art. 4 zu berufen.

Die Rechtslage ist noch jung und entwickelt sich. Das OLG Hamburg hat eine erste Linie gezogen, über die nun der Bundesgerichtshof und möglicherweise der Europäische Gerichtshof entscheiden. Der AI Act macht die Pflichten der Anbieter seit August 2025 verbindlich, für ältere Modelle ab August 2027. Neue Standards wie RSL entstehen schnell. Wer heute handelt, sollte die mehrschichtige Strategie umsetzen und die Entwicklung beobachten. Verwandte Themen sind Crawl-Budget und Multi-Bot-Governance für KI-Crawler, strukturierte Daten als KI-Verständnisschicht, die DSGVO-konforme Datenverarbeitung sowie GEO und die Sichtbarkeit in KI-Antworten.