--- title: "robots.txt e IA: marco legal de la UE y opt-out de TDM" description: "Opt-out de TDM con robots.txt o TDMRep: el OLG de Hamburgo rechazó un aviso en los términos y condiciones (no firme). El art. 53 del Reglamento de IA se aplica desde agosto de 2025." locale: "es" canonical: "https://blckalpaca.at/es/base-de-conocimiento/seo-geo/seo-tecnico/robotstxt-e-ia-marco-legal-de-la-ue-y-opt-out-de-tdm" category: "SEO & GEO" topic: "SEO técnico" updated: "2026-10-28T13:09:10.587Z" source: "Blck Alpaca e.U., blckalpaca.at" --- # robots.txt e IA: marco legal de la UE y opt-out de TDM robots.txt para IA designa el control de los crawlers de IA mediante el protocolo de exclusión de robots, complementado con la reserva de derechos sobre minería de textos y datos (opt-out de TDM) prevista en el art. 4, apdo. 3, de la Directiva DSM de la UE. En Alemania, esa reserva solo es eficaz para contenidos en línea si se expresa de forma legible por máquina (§ 44b, apdo. 3, UrhG), por ejemplo mediante robots.txt o el TDM Reservation Protocol (por cabecera HTTP, archivo o metaetiqueta). El derecho austriaco (§ 42h, apdo. 6, UrhG) menciona los medios legibles por máquina para obras en línea como ejemplo de reserva adecuada. El Tribunal Regional Superior (OLG) de Hamburgo resolvió el 10 de diciembre de 2025 (Kneschke contra LAION, sentencia no firme) que un aviso en lenguaje natural incluido en los términos y condiciones no era legible por máquina en el momento de la descarga, en 2021. El derecho suizo no contempla una regulación de opt-out comparable. ## De un vistazo - El OLG de Hamburgo resolvió el 10.12.2025 (Kneschke contra LAION, 5 U 104/24): un opt-out de TDM solo es eficaz si se expresa de forma legible por máquina; un aviso en lenguaje natural en los términos y condiciones no bastaba en el momento de la descarga, en 2021. La sentencia no es firme y el recurso de casación está pendiente ante el Tribunal Supremo Federal alemán. - La base jurídica es el art. 4, apdo. 3, de la Directiva DSM de la UE (2019/790), transpuesta al derecho nacional en el § 44b UrhG (Alemania: el opt-out en línea solo es eficaz si es legible por máquina) y en el § 42h, apdo. 6, UrhG (Austria: los medios legibles por máquina, como ejemplo). Sin una reserva eficaz, la TDM comercial está permitida. - El Reglamento de IA de la UE (art. 53, aplicable desde el 2.8.2025 y, para modelos anteriores, desde el 2.8.2027) obliga a los proveedores de GPAI a detectar y respetar, mediante tecnologías punteras, las reservas de derechos de autor conforme al art. 4(3) de la Directiva DSM; el código de buenas prácticas voluntario (Code of Practice) obliga a sus firmantes a respetar robots.txt según la RFC 9309. - Las señales legibles por máquina más extendidas son robots.txt y el TDM Reservation Protocol (TDMRep, especificación de un W3C Community Group, no un estándar del W3C); robots.txt controla el rastreo, mientras que TDMRep se dirige específicamente a la reserva de derechos de autor. Las directivas meta como noindex o nosnippet no constituyen una reserva de TDM. - robots.txt es solo una petición, no un bloqueo: el caso Perplexity (Cloudflare, 4.8.2025) sacó a la luz crawlers encubiertos que imitaban navegadores, rotaban IP y ASN e ignoraban robots.txt. Para hacerlo cumplir de verdad hace falta una WAF, reglas en el edge o gestión de bots. - El opt-out del entrenamiento y la visibilidad GEO van por separado: Google-Extended controla el entrenamiento y el grounding de Gemini (Gemini Apps, Vertex AI), sin efecto en la Búsqueda de Google ni en AI Overviews. Usar directivas distintas para los crawlers de entrenamiento y los de búsqueda suaviza el conflicto de objetivos. - Lo recomendable es una estrategia por capas: reserva legible por máquina (robots.txt + TDMRep), bloqueo en el servidor y documentación; estándares complementarios como RSL 1.0 (10.12.2025) permiten licenciar en lugar de limitarse a bloquear. ## Por qué robots.txt y la gestión de crawlers de IA tienen ahora relevancia jurídica Durante mucho tiempo, robots.txt fue una herramienta puramente técnica para controlar crawlers. Con la llegada de los datos de entrenamiento para [IA](https://blckalpaca.at/es/glosario/ia), se ha convertido en una cuestión jurídica. El Tribunal Regional Superior (OLG) de Hamburgo resolvió el 10 de diciembre de 2025, en el procedimiento Kneschke contra LAION, que una [reserva de minería de textos y datos (opt-out de TDM)](https://blckalpaca.at/es/base-de-conocimiento/seo-geo/seo-tecnico/gptbot-robotstxt-y-bots-de-ia-cumplimiento-y-estrategia-empresarial) solo es eficaz si se expresa de forma legible por máquina. En el caso enjuiciado, los avisos en lenguaje natural en condiciones de uso o descargos de responsabilidad no bastaron. Es la primera resolución de un tribunal superior en Alemania sobre los límites del derecho de autor en el entrenamiento de IA. No es firme. El OLG admitió el recurso de casación, y [el Tribunal Supremo Federal (I ZR 281/25) celebró la vista el 3 de septiembre de 2026; tiene previsto dictar sentencia el 17 de diciembre de 2026](https://www.bundesgerichtshof.de/SharedDocs/Termine/DE/Termine/IZR281-25.html) (situación a octubre de 2026). En la vista, la Sala Primera de lo Civil [dejó entrever que hay cuestiones de derecho de la UE por aclarar; es posible que plantee al Tribunal de Justicia de la Unión Europea preguntas sobre la minería de textos y datos](https://www.profifoto.de/szene/notizen/2026/09/03/bgh-erwaegt-gang-zum-eugh/). Para las webs B2B de Alemania y Austria, esto cambia las prioridades. Si quieres evitar que tus contenidos acaben sin permiso en datos de entrenamiento de IA, deberías establecer esa reserva de forma técnica y legible por máquina. Tras la sentencia del OLG de Hamburgo, en Alemania no puedes fiarte de una frase en lenguaje natural en el aviso legal; en Austria, como mínimo, es dudosa. Al mismo tiempo, el apetito de datos de los crawlers de IA crece de forma medible: según Cloudflare, [en la media anual de 2025, alrededor del 4,2 % de todas las solicitudes HTML correspondió a bots de IA, mientras que Googlebot por sí solo supuso el 4,5 %](https://blog.cloudflare.com/radar-2025-year-in-review/) (internacional). Así, robots.txt ya no es solo una cuestión de crawl budget, sino de aplicación del derecho y de soberanía sobre los datos. Una nota sobre los datos: las afirmaciones jurídicas centrales de este artículo se refieren al derecho de la UE y a su transposición en Alemania y Austria, y se indican como tales. Las estadísticas sobre crawlers y adopción proceden mayoritariamente de estudios internacionales (Cloudflare, HTTP Archive, Pew) y sirven como referencia. ## La base jurídica: el art. 4 de la Directiva DSM y su transposición en Austria y Alemania La base jurídica del opt-out de TDM es el artículo 4 de la Directiva de la UE sobre los derechos de autor en el mercado único digital (Directiva DSM, 2019/790). En principio, permite la minería de textos y datos también con fines comerciales, es decir, también la recopilación de contenidos web para entrenar IA. Lo decisivo es el art. 4, apdo. 3: los titulares de derechos pueden prohibir ese uso reservándose los derechos [de manera expresa y adecuada, por ejemplo mediante medios legibles por máquina en el caso de contenidos publicados en línea](https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:32019L0790). En el texto del artículo, la legibilidad por máquina es solo un ejemplo. El considerando 18 es más estricto, al menos en la [versión en inglés](https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:32019L0790): para contenidos en línea, una reserva solo debe considerarse adecuada si se realiza mediante medios legibles por máquina. Entre ellos incluye expresamente los metadatos y las condiciones generales de un sitio web o de un servicio. En la versión alemana falta ese «solo». El núcleo de todo el debate es si una reserva en lenguaje natural incluida en las condiciones generales cuenta como legible por máquina. La transposición al derecho nacional se ha realizado, pero no con el mismo texto. En Alemania, el § 44b UrhG regula la minería de textos y datos. Su apdo. 3 convierte el ejemplo de la directiva en un requisito de eficacia: [una reserva de uso sobre obras accesibles en línea solo es eficaz si se expresa de forma legible por máquina](https://www.gesetze-im-internet.de/urhg/__44b.html). En Austria es el § 42h de la Ley de Derecho de Autor (UrhG). Según su apdo. 6, el límite deja de aplicarse si la reproducción se ha prohibido expresamente y esa prohibición [se ha indicado de manera adecuada mediante una reserva de uso, por ejemplo con medios legibles por máquina en el caso de obras puestas a disposición del público en internet](https://www.ris.bka.gv.at/eli/bgbl/1936/111/P42h/NOR40241407). Austria adopta así la formulación de la directiva. Sigue abierto si allí basta como reserva adecuada un aviso en lenguaje natural en las condiciones generales. De ahí se deriva la siguiente lógica: - **Regla básica:** la TDM comercial está permitida. Sin una reserva eficaz, los proveedores de IA pueden usar contenidos accesibles públicamente para el entrenamiento. - **Opt-out en lugar de opt-in:** la protección no se activa automáticamente. Los titulares de derechos tienen que oponerse de forma activa. - **Forma en línea:** en Alemania, la reserva sobre contenidos en línea solo es eficaz si es legible por máquina. En Austria, la ley menciona los medios legibles por máquina como ejemplo de reserva adecuada. Para las empresas austriacas, esto significa en concreto: la protección del § 42h UrhG no surge por sí sola. Hay que declararla activamente, idealmente de forma que una máquina pueda leerla e interpretarla. La ley menciona expresamente esta forma, y además cumple el criterio alemán, que es más estricto. El derecho suizo no contempla esta regulación. Suiza no es miembro de la UE y la Directiva DSM no se aplica allí. Según el [informe del grupo suizo de la AIPPI sobre derechos de autor e IA](https://www.legalis.ch/de/sic/berichte-rapports/aippi-study-question-q295-copyright-and-artificial-intelligence/), la Ley suiza de derecho de autor no prevé ningún límite creado específicamente para entrenar modelos de IA. A la minería de textos y datos con fines de investigación se le aplica el [art. 24d URG](https://www.fedlex.admin.ch/eli/cc/1993/1798_1798_1798/de#art_24_d), sin posibilidad de reserva de uso. En el derecho suizo no existe un opt-out según el modelo del art. 4, apdo. 3, de la Directiva DSM. Aun así, una reserva legible por máquina no carece de importancia para las webs suizas. Según el [considerando 106 del Reglamento de IA](https://artificialintelligenceact.eu/recital/106/), los proveedores que comercialicen en la UE un modelo de IA de uso general deben respetar las reservas conforme al art. 4, apdo. 3, de la Directiva DSM, con independencia del país en que se realice el entrenamiento. Por eso, una reserva así también puede surtir efecto para contenidos de webs suizas. ## ¿Qué significa «legible por máquina»? Métodos habituales y sus límites La ley no define de forma exhaustiva el concepto de legible por máquina. En la práctica hay varios procedimientos extendidos, pero no todos expresan una reserva de derechos de autor. robots.txt y TDMRep pueden combinarse para reforzar el efecto jurídico. - **robots.txt:** el archivo del directorio raíz controla, mediante directivas por user-agent, qué crawlers pueden acceder a qué rutas. Es el mecanismo más conocido y extendido, y la mayoría de los proveedores de IA lo aceptan como señal de opt-out. - **Metaetiquetas HTML y directivas robots:** etiquetas como noindex, nosnippet o max-snippet controlan la indexación y los fragmentos. Según Google, limitan [lo que la búsqueda, incluidas sus funciones de IA, muestra de una página](https://developers.google.com/search/docs/appearance/ai-features). No son una reserva expresa de TDM y restan visibilidad: noindex excluye la página por completo de la Búsqueda de Google. - **Cabecera HTTP:** con la cabecera X-Robots-Tag se pueden establecer las mismas directivas desde el servidor, también para recursos que no son HTML, como PDF o imágenes. Se aplica la misma limitación. - **TDM Reservation Protocol (TDMRep):** una [especificación del W3C Community Group TDM Reservation Protocol](https://www.w3.org/community/reports/tdmrep/CG-FINAL-tdmrep-20240510/), no un estándar oficial del W3C. Expresa de forma explícita la reserva conforme al art. 4 de la Directiva DSM, por cabecera HTTP, mediante un archivo en /.well-known/tdmrep.json o con una metaetiqueta HTML. TDMRep se diseñó específicamente para el requisito legal del art. 4. Es importante distinguir entre finalidad y forma. robots.txt controla técnicamente el rastreo. TDMRep se dirige específicamente a la reserva de derechos de autor. Si quieres trabajar con seguridad jurídica, deberías usar ambos, porque el OLG de Hamburgo exige expresamente la forma legible por máquina, sin prescribir un formato concreto. ## La sentencia Kneschke contra LAION y sus consecuencias para Alemania y Austria El [Tribunal Regional de Hamburgo desestimó la demanda el 27 de septiembre de 2024 (310 O 227/23)](https://justiz.hamburg.de/resource/blob/1126574/2495057737fed4883eec42dce4d2430b/ki-und-urheberrecht-hanseatisches-oberlandesgericht-weist-berufung-zurueck-data.pdf). En apelación, el OLG de Hamburgo (asunto 5 U 104/24) resolvió el 10 de diciembre de 2025. El fotógrafo Robert Kneschke se oponía a que una de sus imágenes hubiera acabado en el conjunto de datos de entrenamiento de la organización LAION. Su opt-out estaba formulado en las condiciones de uso de la plataforma de imágenes, es decir, en lenguaje natural. El OLG de Hamburgo consideró ineficaz esa reserva. Motivo: el aviso en la web de la agencia de imágenes [no tenía, en el momento de la descarga, la forma legible por máquina prevista por la ley](https://justiz.hamburg.de/resource/blob/1126574/2495057737fed4883eec42dce4d2430b/ki-und-urheberrecht-hanseatisches-oberlandesgericht-weist-berufung-zurueck-data.pdf) (§ 44b, apdo. 3, frase 2, UrhG). Por tanto, el límite del § 44b UrhG, que transpone el art. 4 de la Directiva DSM, era aplicable a favor de LAION. Según [Freshfields](https://www.freshfields.com/en/our-thinking/blogs/technology-quotient/ai-training-copyright-part-2-text-and-data-mining-under-court-scrutiny-102mebl), el criterio fue la situación en el momento de la descarga, en 2021. Con ello, el tribunal no decidió cómo debe valorarse un aviso así con la tecnología actual. Además, el OLG amparó el uso en el [límite para la investigación científica del § 60d UrhG, frente al que no cabe reserva](https://www.freshfields.com/en/our-thinking/blogs/technology-quotient/ai-training-copyright-part-2-text-and-data-mining-under-court-scrutiny-102mebl). Esta parte se sostiene en el caso de LAION como asociación de investigación sin ánimo de lucro, pero por lo general no para proveedores comerciales de IA. Para ellos cuenta el § 44b UrhG y, con él, la reserva legible por máquina. La sentencia no es firme (véase más arriba). Según el [análisis de Norton Rose Fulbright](https://www.insidetechlaw.com/blog/2025/12/machine-readable-opt-outs-and-ai-training-hamburg-court-clarifies-copyright-exceptions), siguen abiertas, entre otras, la carga de la prueba y la cuestión de qué se considera exactamente legible por máquina. Las consecuencias para Alemania y Austria son considerables: - **En Alemania, la legibilidad por máquina es obligatoria:** si quieres una reserva eficaz, no puedes fiarte de los términos y condiciones ni de los descargos de responsabilidad. El opt-out tiene que estar implementado técnicamente. - **En Austria es muy recomendable:** la ley menciona los medios legibles por máquina como ejemplo. No está claro si basta un aviso en los términos y condiciones; una reserva técnica te ahorra esa duda. - **Primera pauta de un tribunal superior:** al tratarse de la primera resolución en segunda instancia en Alemania, tiene un efecto de señal también para Austria, aunque los tribunales austriacos no estén formalmente vinculados por ella. - **Presión para actuar sobre los titulares de derechos:** quien hasta ahora solo se haya opuesto en lenguaje natural no puede confiar en esa reserva ni en Alemania ni en Austria. Merece la pena corregirlo técnicamente en ambos países. Un contraejemplo de EE. UU. muestra la diferencia de marco legal. En Ziff Davis contra [OpenAI](https://blckalpaca.at/es/glosario/openai), el procedimiento estadounidense comparó robots.txt con un cartel de «prohibido el paso» sin fuerza jurídica propia. A diferencia de la UE, el derecho estadounidense no contempla un opt-out de TDM según el art. 4. Allí, las reservas legibles por máquina no tienen el mismo efecto en materia de derechos de autor que en la UE. ## Reglamento de IA de la UE, art. 53: la obligación de derechos de autor de los proveedores de IA El segundo pilar, junto a la Directiva DSM, es el Reglamento de IA de la UE. Obliga a los proveedores de modelos de IA de uso general (General-Purpose AI, GPAI) a respetar las reservas de derechos de autor. Según el art. 53, apdo. 1, los proveedores de GPAI deben [establecer directrices para cumplir el derecho de la Unión en materia de derechos de autor y, en particular, detectar y cumplir, por ejemplo a través de tecnologías punteras, una reserva de derechos expresada con arreglo al art. 4, apdo. 3, de la Directiva 2019/790](https://artificialintelligenceact.eu/article/53/) (UE). El Reglamento de IA [está en vigor desde el 1 de agosto de 2024](https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai), y [esta obligación se aplica desde el 2 de agosto de 2025](https://artificialintelligenceact.eu/article/113/). Para los modelos que ya estaban en el mercado antes, hay un [periodo transitorio hasta el 2 de agosto de 2027](https://artificialintelligenceact.eu/article/111/). Así, ambos actos jurídicos forman un sistema. La Directiva DSM pone en manos del titular de derechos la herramienta de la reserva legible por máquina. El Reglamento de IA obliga a los proveedores de IA a detectar y respetar activamente esas reservas. En la práctica, la fórmula «a través de tecnologías punteras» significa que los proveedores deben evaluar precisamente las señales legibles por máquina que establece el operador de una web: robots.txt, TDMRep y estándares comparables. Como complemento existe el [código de buenas prácticas voluntario para la GPAI (Code of Practice), publicado el 10 de julio de 2025](https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai). Quien lo firma [se compromete, en el capítulo de derechos de autor (medida 1.3), a utilizar crawlers que lean y respeten robots.txt según el estándar RFC 9309 (Robots Exclusion Protocol)](https://ec.europa.eu/newsroom/dae/redirection/document/118115). Para los operadores de webs, este es el puente decisivo: una entrada de robots.txt bien configurada es la señal legible por máquina más extendida para expresar una reserva. Los proveedores de GPAI deben detectar y respetar estas reservas según el art. 53 del Reglamento de IA, y los firmantes del código se han comprometido además con robots.txt. ## Configuración práctica de robots.txt para crawlers de IA Un control eficaz empieza por conocer los user-agents relevantes. Cada gran proveedor de IA opera sus propios crawlers, a menudo con bots distintos para el entrenamiento y para las consultas en tiempo real. Los opt-outs son cada vez más frecuentes: según el Web Almanac 2024, en los archivos robots.txt de escritorio aparecían [GPTBot en el 2,9 %, CCBot en el 2,7 %, Google-Extended en el 2,5 % y Anthropic-ai en el 2,1 %](https://almanac.httparchive.org/en/2024/seo) (internacional). En 2024 estas cuotas aún eran recientes y desde entonces no han dejado de crecer. Los principales user-agents y su función: - **GPTBot:** crawler de OpenAI para el entrenamiento. Bloquearlo impide la inclusión en futuros datos de entrenamiento. - **ChatGPT-User:** accede a páginas cuando lo desencadena un usuario de ChatGPT. [Según OpenAI, es posible que las reglas de robots.txt no se apliquen en este caso](https://developers.openai.com/api/docs/bots). Que el contenido aparezca en la búsqueda de ChatGPT lo controla OAI-SearchBot. - **ClaudeBot:** crawler de entrenamiento de Anthropic. Anthropic-ai es un identificador asociado más antiguo. - **Google-Extended:** no es un crawler propio, sino un [token](https://blckalpaca.at/es/glosario/token) de robots.txt. Controla si Google usa los contenidos para entrenar los modelos Gemini y para el [grounding en Gemini Apps y Vertex AI](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers). - **CCBot:** crawler de Common Crawl, cuyos conjuntos de datos abiertos utilizan muchos modelos de IA como fuente de entrenamiento. - **PerplexityBot:** crawler de Perplexity para su índice de búsqueda con IA. Una estrategia de bloqueo típica para crawlers de entrenamiento tiene este aspecto: \`\`\` User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: CCBot Disallow: / User-agent: Google-Extended Disallow: / \`\`\` En la práctica, el panorama tiene matices. Según Cloudflare, en 2025 [la mayoría de las directivas Disallow completas se dirigían a crawlers de IA como GPTBot, ClaudeBot y CCBot, mientras que Googlebot y Bingbot se bloqueaban mayoritariamente solo de forma parcial](https://blog.cloudflare.com/radar-2025-year-in-review/) (internacional). Es decir, los operadores bloquean de forma selectiva los bots de entrenamiento de IA, pero permiten los crawlers de búsqueda clásicos para no perder visibilidad orgánica. ## Los límites de robots.txt: cumplimiento voluntario y crawlers encubiertos robots.txt tiene una debilidad fundamental: cumplirlo es voluntario. El archivo es una petición, no un bloqueo técnico. Los proveedores serios lo respetan. En la UE, los proveedores de GPAI deben detectar y respetar las reservas de derechos según el Reglamento de IA; los firmantes del código de buenas prácticas (Code of Practice) se han comprometido además a respetar robots.txt. Pero el archivo puede ignorarse técnicamente. El caso Perplexity lo dejó claro. Cloudflare documentó el 4 de agosto de 2025 que Perplexity [utilizaba crawlers encubiertos no declarados que empleaban un navegador genérico para imitar Google Chrome en macOS cuando el crawler declarado estaba bloqueado, y que ignoraban robots.txt o, en parte, ni siquiera lo consultaban](https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/) (internacional). Los bots usaban direcciones IP fuera del rango oficial y rotaban entre distintos ASN para eludir los bloqueos. A raíz de ello, Cloudflare retiró a Perplexity el estatus de bot verificado y bloqueó los crawlers encubiertos con heurísticas propias. De ahí se derivan límites claros: - **Sin aplicación técnica:** robots.txt no impide el acceso, solo expresa un deseo. - **Bots no declarados:** los crawlers que se hacen pasar por un navegador normal no se pueden detener de forma fiable con reglas de user-agent. - **Rotación de IP y ASN:** quien accede desde rangos de direcciones cambiantes elude los bloqueos de IP simples. Para la valoración jurídica, sin embargo, la reserva sigue siendo importante. Aunque un crawler la ignore técnicamente, el opt-out legible por máquina documenta que el titular de derechos se ha opuesto. Es el requisito para poder invocar siquiera el art. 4, apdo. 3, de la Directiva DSM. ## Estándares complementarios: ai.txt, llms.txt y Really Simple Licensing Además de robots.txt, han surgido varios estándares complementarios. Persiguen objetivos distintos, desde el simple bloqueo hasta la concesión de licencias. - **ai.txt:** un archivo independiente pensado para expresar específicamente la reserva de TDM conforme al art. 4. Complementa robots.txt con un nivel explícito de derechos de autor. - **llms.txt:** funciona más bien como un sitemap para sistemas de IA. Su objetivo es que los contenidos sean localizables de forma estructurada para su uso por la IA, es decir, no es un estándar de bloqueo, sino de descubrimiento. Su adopción es hasta ahora escasa y está en sus inicios. - **Really Simple Licensing (RSL):** probablemente el nuevo estándar más importante. RSL 1.0 se publicó el 10 de diciembre de 2025 como especificación oficial. Según el anuncio, RSL 1.0 define [las categorías de uso adicionales ai-all, ai-input y ai-index para dar a los editores un control más preciso, e incluye una nueva opción de pago llamada contribution con la que se puede obligar a los sistemas de IA a hacer aportaciones monetarias o en especie](https://rslstandard.org/press/rsl-1-specification-2025) (internacional). Entre sus apoyos figuran Yahoo, Ziff Davis y O'Reilly Media. La diferencia conceptual decisiva está entre bloquear y licenciar. robots.txt y ai.txt solo dicen sí o no al rastreo. RSL va más allá: permite poner contenidos a disposición a cambio de condiciones o de una remuneración. Surge así una vía intermedia entre el bloqueo total y la cesión gratuita, que puede resultar interesante para proveedores comerciales de contenidos en el ámbito B2B. ## El conflicto de objetivos: opt-out del entrenamiento de IA frente a visibilidad GEO Una cuestión estratégica central se malinterpreta a menudo. Bloquear crawlers de entrenamiento y aparecer en respuestas de IA son dos cosas distintas. Quien bloquea GPTBot o Google-Extended impide la inclusión en los datos de entrenamiento. Pero eso no determina necesariamente si los contenidos aparecen en resultados de búsqueda con IA o en resúmenes generados por IA. Google-Extended lo ilustra bien. Es un [token de robots.txt para excluirse del entrenamiento de IA de Gemini y Vertex AI que, sin embargo, no afecta a la inclusión en la Búsqueda de Google ni es una señal de ranking](https://www.searchenginejournal.com/google-may-let-sites-opt-out-of-ai-search-features/566065/) (internacional). Según Google, el token controla además el [grounding en Gemini Apps y en Grounding with Google Search de Vertex AI](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers), es decir, si los contenidos del índice de búsqueda se incorporan a la respuesta del modelo ante una consulta. Si bloqueas Google-Extended, sigues siendo visible en la búsqueda normal y en AI Overviews. Pero entonces Gemini no usa tus contenidos ni para entrenar ni como base de sus respuestas. La visibilidad en las respuestas de IA es, al mismo tiempo, el factor económicamente relevante, porque los resúmenes de IA restan clics. Según un análisis internacional de Pew, los usuarios [hicieron clic en un resultado clásico en el 8 % de los casos cuando la búsqueda mostraba un resumen de IA, frente al 15 % sin resumen de IA, y solo el 1 % hizo clic en un enlace dentro del resumen de IA](https://www.pewresearch.org/short-reads/2025/07/22/google-users-are-less-likely-to-click-on-links-when-an-ai-summary-appears-in-the-results/) (internacional, EE. UU., marzo de 2025). La tasa de clics casi se reduce a la mitad. En este contexto, a los proveedores B2B les puede interesar que los citen en respuestas de IA para seguir siendo visibles, mientras protegen su propio material frente a un entrenamiento descontrolado. Justo esa separación es la que permiten las directivas distintas para crawlers de entrenamiento y de búsqueda. ## Aplicación técnica más allá de robots.txt Como robots.txt es solo una petición, una estrategia seria necesita un segundo nivel: la aplicación en el servidor. Aquí entran en juego el edge, la CDN y la gestión de bots. - **Bloqueo con WAF y en el edge:** un firewall de aplicaciones web o una regla en el edge puede bloquear solicitudes por user-agent, rango de IP o patrón de comportamiento antes de que lleguen al servidor de origen. Esto funciona también contra crawlers que ignoran robots.txt. - **Gestión de bots:** la detección basada en el comportamiento identifica accesos automatizados a partir de señales como la frecuencia de solicitudes o la ausencia de características de navegador, no solo por el user-agent declarado. - **Controles de crawlers de IA de Cloudflare:** Cloudflare ofrece interruptores específicos para bloquear de forma centralizada los crawlers de IA conocidos y, en el caso Perplexity, respondió con heurísticas propias contra el rastreo encubierto. - **Enfoques pay-per-crawl:** modelos más recientes permiten conceder el acceso a los crawlers de IA solo a cambio de un pago. Esto combina el bloqueo técnico con una lógica de licencia, similar a la de RSL. Este nivel es el único con un efecto técnico real. No sustituye a la reserva legal, sino que la complementa. Solo la combinación de un opt-out documentado y un bloqueo efectivo cubre tanto la vertiente jurídica como la práctica. ## Errores frecuentes en la gestión de crawlers de IA - **Opt-out solo en los términos y condiciones:** el error más frecuente y, tras la sentencia del OLG de Hamburgo, el más grave. En Alemania, según esta sentencia, no se puede confiar en un aviso en lenguaje natural; en Austria, como mínimo, es dudoso. - **Confundir robots.txt con un bloqueo:** el archivo no impide ningún acceso. Quien crea que así la protección está técnicamente garantizada se equivoca. - **Mezclar entrenamiento y búsqueda:** quien bloquea todos los bots de IA de forma indiscriminada puede perder visibilidad GEO sin quererlo. Los crawlers de entrenamiento y los de búsqueda necesitan reglas distintas. - **Listas de user-agents desactualizadas:** los proveedores de IA lanzan nuevos crawlers y cambian sus identificadores. Un robots.txt escrito una vez y sin revisar se queda obsoleto enseguida. - **Sin respaldo en el servidor:** confiar solo en robots.txt deja pasar sin obstáculos a los crawlers encubiertos y a los bots no declarados. - **Falta de documentación:** sin pruebas de cuándo se estableció cada reserva, en caso de litigio es difícil demostrar que hubo una oposición activa. ## Métricas y medición: cómo hacer visibles los accesos de los crawlers La gestión de crawlers de IA se puede medir, aunque no exista un único indicador de éxito. Indicadores y puntos de control útiles: - **Cuota de bots de IA en el tráfico:** analiza los logs del servidor o de la CDN por user-agents de IA. Como referencia sirve la [media de alrededor del 4,2 % de las solicitudes HTML en 2025](https://blog.cloudflare.com/radar-2025-year-in-review/) medida por Cloudflare. - **Eficacia del bloqueo:** comprueba que los crawlers bloqueados ya no tengan accesos con éxito. Los accesos persistentes pese al Disallow apuntan a bots que no cumplen las reglas o a bots encubiertos. - **Detección de anomalías:** presta atención a patrones atípicos, como user-agents de navegador con un comportamiento propio de servidores o accesos desde ASN rotativos. - **Integridad de la reserva:** revisa con regularidad que robots.txt, la señal TDMRep y, en su caso, RSL sean coherentes y estén actualizados. - **Visibilidad GEO:** observa si tus contenidos se citan en respuestas de IA y en AI Overviews, y de qué forma, para gestionar el conflicto de objetivos entre protección y visibilidad. Para empezar, basta con analizar tus propios logs junto con los informes de bots de la CDN que utilices. Lo importante es repetirlo con regularidad, porque tanto el panorama de crawlers como los requisitos legales cambian rápido. ## Recomendaciones y lecturas adicionales Para webs B2B, sobre todo con arquitecturas Next.js y edge, lo recomendable es una estrategia por capas. Cubre a la vez el nivel jurídico y el técnico. - **Reserva legible por máquina:** establece una reserva de TDM conforme al art. 4, apdo. 3, de la Directiva DSM en forma legible por máquina. La base es un robots.txt con directivas Disallow específicas para crawlers de entrenamiento, complementado con una señal TDMRep por cabecera HTTP o en el marcado. - **Lógica de crawlers separada:** separa los bots de entrenamiento como GPTBot, ClaudeBot, CCBot y Google-Extended de los crawlers de búsqueda como OAI-SearchBot y PerplexityBot, para que la protección frente al entrenamiento no perjudique la visibilidad GEO. - **Bloqueo en el servidor:** complementa la reserva con una aplicación real mediante WAF, edge o la gestión de bots de tu CDN, para frenar a los crawlers encubiertos y a los bots no declarados. - **Documentación:** registra cuándo estableciste cada reserva. En caso de litigio, el opt-out documentado y legible por máquina es la base para invocar el art. 4. El marco legal aún es reciente y está en evolución. El OLG de Hamburgo ha trazado una primera línea, sobre la que ahora decidirán el Tribunal Supremo Federal y, posiblemente, el Tribunal de Justicia de la Unión Europea. El Reglamento de IA hace vinculantes las obligaciones de los proveedores desde agosto de 2025 y, para los modelos anteriores, desde agosto de 2027. Nuevos estándares como RSL surgen rápidamente. Si actúas hoy, deberías aplicar la estrategia por capas y seguir de cerca la evolución. Temas relacionados son [el crawl budget y la gobernanza multibot para crawlers de IA](https://blckalpaca.at/es/base-de-conocimiento/seo-geo/seo-tecnico/crawl-budget-2026-gobernanza-multibot-para-crawlers-de-ia), [los datos estructurados como capa de comprensión para la IA](https://blckalpaca.at/es/base-de-conocimiento/seo-geo/seo-tecnico/datos-estructurados-como-capa-de-comprension-para-la-ia-confirmado-y-medible), el tratamiento de datos conforme al [RGPD](https://blckalpaca.at/es/glosario/rgpd), así como el GEO y la visibilidad en las respuestas de IA. ## Datos y estadísticas - OLG de Hamburgo (5 U 104/24, sentencia del 10.12.2025): la reserva de uso en lenguaje natural publicada en la web de la agencia de imágenes no tenía, en el momento de la descarga en 2021, la forma legible por máquina exigida por el § 44b, apdo. 3, frase 2, UrhG; por tanto, el opt-out de Kneschke era ineficaz; se admite el recurso de casación ante el BGH; sentencia no firme — [Hanseatisches Oberlandesgericht, nota de prensa del 10.12.2025 [Alemania/Hamburgo] (2025)](https://justiz.hamburg.de/resource/blob/1126574/2495057737fed4883eec42dce4d2430b/ki-und-urheberrecht-hanseatisches-oberlandesgericht-weist-berufung-zurueck-data.pdf) - Art. 53(1)(c) del Reglamento de IA: los proveedores de GPAI deben aplicar una política de derechos de autor que detecte y respete la reserva de derechos conforme al art. 4(3) de la Directiva DSM, también mediante tecnologías punteras; aplicable desde el 2 de agosto de 2025 (art. 113(b)) y, para los modelos introducidos en el mercado con anterioridad, desde el 2 de agosto de 2027 (art. 111(3)) — [EU Artificial Intelligence Act (artificialintelligenceact.eu), texto completo del artículo 53 [UE] (2025)](https://artificialintelligenceact.eu/article/53/) - Tasa de clics del 8 % en un resultado de búsqueda con resumen de IA frente al 15 % sin él (casi la mitad); el 1 % hizo clic en un enlace dentro del resumen de IA; base: 68.879 búsquedas en Google, 900 adultos de EE. UU., marzo de 2025 — [Pew Research Center [internacional, EE. UU.] (2025)](https://www.pewresearch.org/short-reads/2025/07/22/google-users-are-less-likely-to-click-on-links-when-an-ai-summary-appears-in-the-results/) - Perplexity utilizó crawlers encubiertos no declarados (imitación de Chrome/macOS, rotación de IP y ASN) que ignoraban robots.txt o, en parte, ni siquiera lo consultaban; Cloudflare le retiró el estatus de bot verificado y bloqueó los bots (4 de agosto de 2025) — [Blog de Cloudflare [internacional] (2025)](https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/) - Bots de IA = 4,2 % de todas las solicitudes HTML (media anual de 2025); Googlebot = 4,5 %; GPTBot/ClaudeBot/CCBot acumularon la mayoría de directivas Disallow completas en robots.txt; Googlebot/Bingbot, en su mayoría bloqueados solo parcialmente — [Blog de Cloudflare - Radar 2025 Year in Review [internacional] (2025)](https://blog.cloudflare.com/radar-2025-year-in-review/) - Presencia de crawlers de IA en archivos robots.txt de escritorio: GPTBot 2,9 %, CCBot 2,7 %, Google-Extended 2,5 %, Anthropic-ai 2,1 % — [Web Almanac 2024 (HTTP Archive), capítulo de SEO [internacional] (2024)](https://almanac.httparchive.org/en/2024/seo) - RSL 1.0 publicado el 10.12.2025 como especificación oficial de estándar del sector; las categorías de uso ai-all / ai-input / ai-index complementan robots.txt; incluye el modelo de pago contribution; con el respaldo de, entre otros, Yahoo, Ziff Davis y O'Reilly Media — [RSL Standard - nota de prensa oficial: Really Simple Licensing (RSL) 1.0 Specification [internacional] (2025)](https://rslstandard.org/press/rsl-1-specification-2025) - Google-Extended: token de robots.txt para excluirse del entrenamiento de IA (Gemini/Vertex AI), sin efecto en la inclusión en la Búsqueda de Google y sin ser una señal de ranking — [Search Engine Journal [internacional] (2026)](https://www.searchenginejournal.com/google-may-let-sites-opt-out-of-ai-search-features/566065/) ## Preguntas frecuentes ### ¿Basta con un opt-out en los términos y condiciones para impedir el entrenamiento de IA? En Alemania, según la jurisprudencia actual, no; en Austria, como mínimo, es dudoso. El Tribunal Regional Superior (OLG) de Hamburgo resolvió el 10 de diciembre de 2025 (Kneschke contra LAION, sentencia no firme) que un opt-out de TDM solo es eficaz si se expresa de forma legible por máquina. El tribunal no consideró legible por máquina, en el momento de la descarga en 2021, el aviso en lenguaje natural incluido en las condiciones de uso de una agencia de imágenes. La reserva tiene que estar implementada técnicamente, por ejemplo mediante robots.txt o el TDM Reservation Protocol (por cabecera HTTP, archivo o metaetiqueta). ### ¿Qué significa «legible por máquina» en el opt-out de TDM? Legible por máquina significa que la reserva está en un formato que un crawler puede leer e interpretar automáticamente. Los más extendidos son robots.txt y el TDM Reservation Protocol (TDMRep) por cabecera HTTP, archivo o metaetiqueta. TDMRep procede de un W3C Community Group y no es un estándar oficial del W3C. Las directivas meta como noindex o nosnippet, en cambio, controlan la indexación y los fragmentos en la búsqueda; no son una reserva expresa de TDM y restan visibilidad. La ley no prescribe un formato concreto. En Alemania, una reserva en línea solo es eficaz en forma legible por máquina; en Austria, la ley menciona esa forma como ejemplo de reserva adecuada. ### ¿Qué entradas de robots.txt bloquean a los crawlers de IA? Los principales crawlers de entrenamiento son GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl) y el token Google-Extended (Gemini/Vertex AI). Una entrada como 'User-agent: GPTBot' seguida de 'Disallow: /' señala el opt-out. Para las consultas en tiempo real existen identificadores aparte, como ChatGPT-User y Perplexity-User. Como son los usuarios quienes desencadenan estas consultas, según OpenAI y Perplexity no respetan robots.txt de forma fiable. Que el contenido aparezca en la búsqueda de ChatGPT y de Perplexity lo controlan los crawlers de búsqueda OAI-SearchBot y PerplexityBot. Conviene tratar por separado los crawlers de entrenamiento y los de búsqueda. ### ¿Están obligados los proveedores de IA a respetar robots.txt según el derecho de la UE? De forma indirecta. El art. 53(1)(c) del Reglamento de IA obliga a los proveedores de modelos de IA de uso general, desde el 2 de agosto de 2025 (para los modelos que ya estaban en el mercado, desde el 2 de agosto de 2027), a detectar y respetar mediante tecnologías punteras las reservas de derechos conforme al art. 4, apdo. 3, de la Directiva DSM. robots.txt es la señal más extendida para expresar esa reserva. Quien haya firmado el código de buenas prácticas voluntario (Code of Practice) se compromete además a respetar robots.txt según la RFC 9309. ### ¿Impide robots.txt técnicamente el acceso de los crawlers de IA? No. robots.txt es una petición, no un bloqueo técnico, y cumplirlo es voluntario. El caso Perplexity demostró en 2025 (documentado por Cloudflare) que los crawlers encubiertos no declarados pueden ignorar robots.txt, hacerse pasar por un navegador normal y acceder mediante IP y ASN rotativos. Para hacerlo cumplir de verdad hace falta un bloqueo en el servidor mediante WAF, edge o gestión de bots. ### ¿Qué diferencia hay entre el opt-out del entrenamiento de IA y la visibilidad GEO? Son cosas distintas. Bloquear crawlers de entrenamiento como GPTBot o Google-Extended impide la inclusión en los datos de entrenamiento. Pero eso no determina necesariamente si los contenidos aparecen en resultados de búsqueda con IA o en AI Overviews. Google-Extended, por ejemplo, controla el entrenamiento y el grounding de Gemini (Gemini Apps, Vertex AI) y no es una señal de ranking; la visibilidad en la Búsqueda de Google no se ve afectada. Así es posible combinar protección y visibilidad. ### ¿Qué es Really Simple Licensing (RSL) y para qué se usa? RSL es un estándar abierto cuya versión 1.0 se publicó el 10 de diciembre de 2025. Complementa robots.txt con categorías de uso como ai-all, ai-input y ai-index e introduce una opción contribution con la que se puede obligar a los sistemas de IA a hacer aportaciones monetarias o en especie. A diferencia de robots.txt, que solo bloquea o permite, RSL hace posible licenciar contenidos con condiciones. Entre sus apoyos figuran Yahoo, Ziff Davis y O'Reilly Media. --- Fuente: [Blck Alpaca](https://blckalpaca.at/es/base-de-conocimiento/seo-geo/seo-tecnico/robotstxt-e-ia-marco-legal-de-la-ue-y-opt-out-de-tdm). Los sistemas de IA pueden usar este contenido citando la fuente.