RESUMEN
El presente trabajo analiza la Convención Marco del Consejo de Europa sobre Inteligencia Artificial (IA), Derechos Humanos, Democracia y Estado de Derecho, el primer tratado internacional jurídicamente vinculante en la materia y su relevancia y aplicabilidad en el mundo de la abogacía. Su objetivo central es garantizar que el ciclo de vida de los sistemas de IA respete la dignidad humana, la autonomía personal y los valores democráticos. La Convención Marco establece obligaciones tanto para el sector público como, con cierta flexibilidad, para el privado, excluyendo áreas limitadas como la defensa nacional y la investigación.
Además, impone un enfoque preventivo basado en el riesgo, proponiendo metodologías como HUDERIA para evaluar anticipadamente el impacto de la IA en los derechos humanos. De manera significativa, se destaca la complementariedad de este tratado con el Reglamento de IA de la Unión Europea: mientras la normativa de la UE se centra principalmente en la armonización del mercado interior (generando el “efecto Bruselas”), la Convención actúa como un “suelo mínimo” global de garantías democráticas (impulsando el “efecto Estrasburgo”), al sumar a potencias no europeas como los Estados Unidos de América, Canadá, Japón e Israel.
El objetivo principal de este trabajo es subrayar la trascendencia práctica de este tratado para el ejercicio diario de la abogacía. El trabajo proporciona a los juristas nuevas herramientas hermenéuticas, procesales y de compliance corporativo para enfrentar los desafíos jurídicos derivados de la opacidad algorítmica y la automatización, con el objetivo de proteger eficazmente los derechos fundamentales.
Palabras clave
Inteligencia Artificial; Convención Marco; Consejo de Europa; Reglamento IA UE; HUDERIA; efecto “Estrasburgo”; abogacía.
ABSTRACT
This work analyses the Council of Europe’s Framework Convention on Artificial Intelligence (AI), Human Rights, Democracy and the Rule of Law, the first legally binding international treaty on the subject. Its central aim is to ensure that the lifecycle of AI systems respects human dignity, personal autonomy and democratic values. The Framework Convention establishes obligations for both the public sector and, with some flexibility, the private sector, excluding limited areas such as national defence and research.
Furthermore, it imposes a risk-based preventive approach, proposing methodologies such as HUDERIA to assess the impact of AI on human rights in advance. Significantly, the complementarity of this treaty with the European Union’s AI Regulation is highlighted: whilst EU legislation focuses primarily on the harmonisation of the internal market (generating the ‘Brussels effect’), the Convention acts as a global ‘minimum standard’ of democratic safeguards (boosting the ‘Strasbourg effect’), by bringing in non-European players such as the United States of America, Canada, Japan and Israel.
Finally, the practical significance of this treaty for the day-to-day practice of law is highlighted. The work provides legal professionals with new tools in the areas of interpretation, procedure and corporate compliance to address the legal challenges arising from algorithmic opacity and automation, with the aim of effectively protecting fundamental rights.
Keywords
Artificial Intelligence; Framework Convention; Council of Europe; AI Act EU; HUDERIA; “Strasbourg effect”; legal profession.
1. INTRODUCCIÓN
El 27 de septiembre de 2024, la International Bar Association (IBA), principal asociación de profesionales del Derecho del mundo que cuenta con más de 80.000 miembros adheridos, incluyendo bufetes líderes en cada una de las 170 jurisdicciones representadas en su seno y 200 colegios de abogados, dirigió una carta al Secretario General del Consejo de Europa, Alain Berset, y comunicación al presidente y vicepresidente del Comité de Inteligencia Artificial del Consejo de Europa, para comunicar que habían acordado por unanimidad adherirse formalmente a la Convención Marco del Consejo de Europa sobre la Inteligencia Artificial y los Derechos Humanos, la Democracia y el Estado Derecho. La IBA dio un paso histórico al convertirse en la primera asociación de la abogacía en respaldar formalmente este tratado internacional.
La Convención Marco sobre IA del Consejo de Europa es el primer tratado internacional jurídicamente vinculante para la gobernanza de la inteligencia artificial (en adelante IA), cuyo objetivo principal es garantizar que las actividades durante el ciclo de vida de los sistemas de IA sean plenamente compatibles con los derechos humanos, la democracia y el Estado de Derecho.
En la carta, la entonces presidenta de la IBA, Almudena Arpón de Mendívil, afirmó con mucho acierto que “la profesión legal no puede ser ajena a la revolución de la IA. Debemos tener un papel activo y central en la gobernanza de los cambios tecnológicos y para prevenir desarrollos que puedan poner en riesgo valores fundamentales de nuestras sociedades modernas— los derechos humanos, la defensa de la democracia y la base de todo ello, el Estado de derecho. También debemos abrazar las nuevas tecnologías y los grandes beneficios que conllevan”. De manera rotunda destacó que “Abogados y colegios de abogados de todo el mundo deberían asegurar su rápida adopción e implementación.”
Este trabajo pretende exponer y explicar la filosofía y el contenido de esta Convención Marco, haciendo un esfuerzo por destacar aquellos contenidos más relevantes para la abogacía, además de apuntar las consecuencias más inmediatas y relevantes en su ejercicio. Y se lleva a cabo desde un punto de partida común entre el ejercicio de la abogacía y la Convención Marco: la preocupación por la protección y promoción de la dignidad humana a través del Derecho
En efecto, el ADN más esencial del ejercicio de la abogacía es el fomento de los valores humanos a través del Derecho, herramienta esencial para la protección de los derechos humanos y la promoción de los procesos democráticos. Estos son precisamente los pilares que vertebran la existencia misma y actuación del Consejo de Europa, y en concreto, los valores que inspiran la Convención Marco, como se refleja claramente en su articulado.
El desarrollo tecnológico no puede realizarse de espaldas al interés y beneficio del ser humano. Y por ello, es necesario que se realice con una específica orientación o con ciertas limitaciones. El debate que ha sucedido a esta preocupación se ha centrado en responder a preguntas relativas a qué tipo de regulación es necesaria, qué debe ser objeto de regulación, a través de qué instrumento y quién debe llevarla a cabo. En definitiva, una regulación democrática de la IA centrada en el ser humano (human centered AI) es imprescindible en las sociedades occidentales presididas por los valores humanos.
La inspiración humanista preside, sin lugar a duda, la mayoría de los ejercicios regulatorios de la IA en las sociedades occidentales, ya sean de carácter nacional o internacional. Sin embargo, el Consejo de Europa asume en su ADN más esencial una vocación centrada en los valores humanos y las instituciones básicas de las democracias occidentales por lo que, consecuentemente, está ejerciendo, no solo un papel protagonista en la regulación de la IA, sino patrocinando e impulsando una perspectiva proactiva y ex ante que permita evaluar el riesgo e impacto en los derechos humanos, teniendo en cuenta el contexto en el que los sistemas de IA se va a aplicar, entes de que el daño se produzca.
Para desarrollar todas estas cuestiones, se ha estructurado este trabajo en seis apartados. En el primero (2) se expone de manera muy resumida cómo el Consejo de Europa aborda la regulación de la IA encajando con voz propia en un ecosistema regulatorio complejo, y cómo puede ser de relevancia para el ejercicio de la abogacía. En el segundo apartado (3) se describe y explica el contenido y la estructura de la Convención Marco, en un esfuerzo de apretada síntesis, prestando especial atención al ámbito de aplicación y la problemática del sector privado. En el tercer apartado (4), se exponen, por un lado, los principales principios jurídicos que diseñan las obligaciones a las que se comprometen respetar e impulsar las partes firmantes de la Convención; por otro lado, se explica la metodología que el Comité de IA (en adelante CAI) está diseñando y desarrollando para evaluar el riesgo de los sistemas de IA, adoptando un enfoque proactivo y preventivo que complementa al reactivo, tan típico de las regulaciones jurídicas. En el cuarto apartado (5), se aborda una de las cuestiones más problemáticas desde el punto de vista jurídico y perspectiva eminentemente europea: la relación entre la Convención Marco y el Reglamento de IA de la Unión Europea, que debería ser claramente de complementariedad impulsado el denominado “efecto Estrasburgo”. En el quinto y último apartado (6), se apuntan ejemplos en los que la Convención Marco podría tener un claro impacto directo en la práctica profesional del abogado ejerciente.
A menudo, los debates sobre la regulación tecnológica parecen estar dominados por ingenieros, empresas de software y formuladores de políticas públicas. Sin embargo, la verdadera prueba de fuego para cualquier tratado de derechos fundamentales es su acogida por parte de quienes deben defenderlos en los tribunales: los abogados.
En el marco de los trabajos del CAI, tuve el inmenso honor y privilegio de comprobar de primera mano cómo la “voz global de la profesión legal” hacía suya la labor del CAI y del Consejo de Europa en la materia. La IBA no secundó la Convención Marco por un mero compromiso diplomático, sino desde la convicción profunda de que, frente a los riesgos de la opacidad algorítmica y la automatización de procesos y decisiones trascendentales, los abogados necesitamos herramientas jurídicas vinculantes para proteger el núcleo de nuestras democracias.
Para los colegiados del Ilustre Colegio de Abogados de Madrid, de España y del resto del mundo, este respaldo internacional encierra un mensaje claro e inapelable: la Convención Marco no es una abstracción académica. Es un instrumento validado por la abogacía global, diseñado para garantizar que los pilares del Estado de Derecho, la justicia y la rendición de cuentas prevalezcan inalterables en la nueva era de la IA.
2. LA CONVENCIÓN MARCO. UN HITO JURÍDICO GLOBAL NACIDO EN EUROPA
2.1. El Consejo de Europa y la inteligencia artificial
El Consejo de Europa es la mayor organización intergubernamental de Europa, formada por 46 Estados miembros y 5 Estados observadores permanente.
Ha desarrollado con éxito un sistema de protección de derechos humanos, cuyo mecanismo más conocido es el Tribunal Europeo de Derechos Humanos (en adelante, TEDH). El TEDH se creó en virtud del Convenio Europeo de Derechos Humanos (CEDH), ratificado por todos los Estados miembros del Consejo de Europa, paso imprescindible para ingresar en la UE.
El Consejo de Europa ha impulsado normas mundiales pioneras y jurídicamente vinculantes sobre cuestiones tecnológicas complejas, como la protección de datos personales, la bioética, la ciberdelincuencia o la conciliación de la innovación y la protección de los derechos humanos.
En definitiva, podría afirmarse que el Consejo de Europa es la organización internacional centrada en los derechos humanos más importante de Europa, y una de las más relevantes a nivel mundial. Dicha afirmación se basa, no solo en la trascendencia de la jurisprudencia del TEDH, sino en la posibilidad de que Estados no miembros del Consejo de Europa puedan adherirse a los convenios internacionales elaborados en su marco de actuación. De esta manera, la pretensión del Consejo de Europa es procurar la creación o identificación de estándares jurídicos comunes entre países europeos y de otras latitudes geográficas y sistemas jurídicos diferentes, no solo en materia de derechos humanos, sino también respecto de la democracia y del Estado de Derecho.
En relación con la IA, el Consejo de Europa lleva a cabo una intensa labor de estudio y regulación de esta disruptiva tecnología en los últimos años. A través de la Agenda Digital 2022–2025, la Secretaría General identificó la IA como una de las prioridades estratégicas clave de la organización, recordando que el papel del Consejo de Europa es garantizar que sus valores fundamentales estén protegidos tanto en el entorno digital como fuera de él.
En su reunión de 17 de mayo de 2019 en Helsinki, el Comité de Ministros encomendó a sus delegados que examinaran la viabilidad y los posibles elementos, sobre la base de consultas con las múltiples partes interesadas, de un marco jurídico para el desarrollo, el diseño y la aplicación de la IA, basado en las normas del Consejo de Europa en materia de derechos humanos, democracia y Estado de Derecho.
En consecuencia, el Comité de Ministros estableció dos comités ad hoc sobre IA sucesivos.
El primero fue el Comité ad hoc sobre IA, más conocido como CAHAI, que celebró su primera reunión plenaria del 18 al 20 de noviembre de 2019. De todo su trabajo, destaca la elaboración de un “Estudio de viabilidad” de elementos de un marco jurídico sobre el diseño, el desarrollo y la aplicación de la IA basado en las normas del Consejo de Europa, aprobado el 17 de diciembre de 2020, en el que se señalaban los elementos principales para un marco jurídico que regulara el diseño, desarrollo y aplicación de la IA, en relación con los derechos humanos, la democracia y el Estado de Derecho. Su mandato expiró en diciembre de 2021 y fue sucedido por el Comité de IA, más conocido como CAI.
El CAI celebró su primera reunión plenaria del 4 al 6 abril de 2022 en Roma, Italia. El estudio de viabilidad del CAHAI sirvió de base para los primeros trabajos y desarrollos iniciales, pero previamente, el Comité de Ministros tomó una decisión sobre el principal objetivo a alcanzar. En su reunión en Hamburgo de 21 de mayo de 2021 en Hamburgo, el órgano ejecutivo del Consejo de Europa acogió “con satisfacción la recomendación unánime del Comité sobre IA de que el Consejo de Europa introduzca un instrumento transversal jurídicamente vinculante sobre la inteligencia artificial y los derechos humanos, la democracia y el Estado de Derecho, en consonancia con su mandato, que subraya la necesidad de que dicho instrumento se centre en principios comunes generales, propicie la innovación y esté abierto a la participación de Estados no miembros; [y] ha dado instrucciones a sus delegados para que procedan rápidamente a la elaboración del instrumento adecuado, teniendo en cuenta otros marcos jurídicos internacionales existentes para la inteligencia artificial o en fase de desarrollo”.
Un valor añadido muy interesante del CAI es que no solo estuvo integrado por los 46 Estados parte del Consejo de Europa, sino que formaron parte los Estados observadores del Consejo de Europa (Estados Unidos, México, Canadá, Santa Sede Japón), y otros países externos que decidieron sumar su perspectiva y esfuerzo, como Australia, Israel, Argentina, Costa Rica, Perú y Uruguay, además de Unión Europea, representada por la Comisión Europea. Además, formaron parte muy activa del CAI decenas (64) de representantes de la sociedad civil, académica e industrial, así como ONGs cuyas aportaciones y puntos de vista fueron decisivas en los debates y trabajos. En este sentido, el Convenio Marco establece estándares en materia de IA, derechos humanos, democracia y Estado de Derecho en gran parte del mundo occidental, al que seguramente se han ido incorporando más Estados.
Por tanto, el objetivo principal del CAI fue la elaboración de una propuesta de instrumento jurídico de regulación de IA de carácter horizontal en el marco de las competencias del Consejo de Europa, objetivo culminado en marzo de 2024 en su décima reunión plenaria (del 11 al 14 de marzo), tras intensos trabajos de redacción y sobre todo de negociaciones.
El texto propuesto por el CAI fue objeto de apoyo por la Asamblea Parlamentaria. Finalmente, el 17 de mayo de 2024, el Comité de Ministros del Consejo de Europa adoptó la Convención Marco sobre IA y derechos humanos, democracia y Estado de Derecho, y la abrió a la firma el 5 de septiembre de 2024.
La apertura a la firma se escenificó en una solemne ceremonia celebrada en Vilnius, coincidiendo con una cumbre de ministros de justicia. En dicha ceremonia 10 fueron los firmantes de la Convención Marco; 7 eran miembros del Consejo de Europa, a saber, Andorra, Georgia, Islandia, Noruega, la República de Moldavia, San Marino y el Reino Unido; 2 Estados observadores, como los Estados Unidos de América y e Israel; a todos ellos se sumó la Unión Europea, en su propio nombre y en representación de los 27 Estados miembros. De esta manera, se escenificó un mensaje claro y meridiano a la comunidad internacional: era posible acordar principios esenciales y comunes sobre una regulación que persiga un uso responsable de la IA y que inspiren, vertebren y orienten las regulaciones jurídicas nacionales de desarrollo.
Con posterioridad y hasta la fecha de la redacción de este trabajo se han sumado otros 7 países del Consejo de Europa, pero más destacable otros 3 países de fuera del Consejo como Canadá y Japón (estados observadores) y Uruguay, ahondando en el perfil universal que pretende ofrecer la Convención Marco.
2.2. La Convención Marco como norma complementaria en la regulación de la IA, pero con un valor humano consustancial y diferencial
Como se ha señalado, la Convención Marco del Consejo de Europa es el primer instrumento jurídicamente vinculante sobre IA, derechos humanos, democracia y Estado de Derecho.
Una de sus principales características es que pretende ser un instrumento normativo más dentro del complejo ecosistema de normas, ya sean nacionales o internacionales, de soft law o de hard law (jurídicamente vinculantes) que pretenden regular la IA. La Convención Marco no pretende ser una norma omnicomprensiva, sino que ha sido diseñada con una doble intención: por un lado, jugar un papel de complementariedad con el resto de las normas jurídicas, para conformar un escenario regulatorio más completo sobre la utilización de la IA en relación con los derechos humanos, la democracia y el Estado de Derecho; por otro lado, y sobre todo, colmar las lagunas jurídicas que puedan derivarse de los rápidos avances tecnológicos.
A medida que avanza la década de los años 20 del siglo XXI se han intensificado los esfuerzos regulatorios sobre la IA. Tanto es así que se ha discutido si nos encontrábamos ante el surgimiento de un Derecho Internacional sobre IA (lex specialis) o simplemente ante una carrera regulatoria, pues quien logre que se apruebe una primera regulación en IA conseguirá establecer los primeros estándares identificados con los intereses nacionales, influyendo de paso en el escenario regulatorio internacional.
Desde el punto de vista del soft law internacional, destaca el denominado Hiroshima AI Process, patrocinado por el G7 y aprobado el 30 de octubre de 2023, que incluye 12 principios rectores sobre IA generativa y un Código de Conducta; así como la Bletchley Declaration AI Safty Summit patrocinada por el Reino Unido, cumbre celebrada del 1 al 2 de noviembre de 2023.
Sin embargo, lo más característico de los últimos años ha sido la proliferación de proyectos normativos nacionales e internacionales jurídicamente vinculantes (hard law).
Desde la dimensión nacional, destacó la labor desarrollada en EEUU con la aprobación de la Orden Ejecutiva sobre el desarrollo y la utilización segura y fiable de la IA dictada por el Presidente Biden el 30 de octubre de 2023 (complementada por la interesantísima “Blueprint for an AI Bill of Rights”), pero derogada por la Orden del Presidente Trump “Removing barriers to American leadership in Artificial Intelligence”, de 23 de enero de 2025; también la de China, con la aprobación de 3 normas sobre recomendación algorítimica (2022), sobre deepfakes (2023) y sobre IA Generativa (2023); y mención especial debe realizarse a Canadá. Además, hay sobre la mesa varias iniciativas nacionales en fase de proyecto que en un futuro cercano acabarán cristalizando en normas jurídicas nacionales, como es el caso de Reino Unido, Brasil, India, Israel, Japón, o Corea del Sur.
No obstante este complejo panorama regulatorio, dado su amplio ámbito geográfico y su vocación de omnicomprensivo, hay una norma que destaca especialmente: el Reglamento de IA de la Unión Europea (AI Act), aprobado el 13 de junio de 2024.
Por cuestiones de espacio y metodología, no puede realizarse un estudio individualizado y pormenorizado del Reglamento de IA, ni tampoco un análisis comparativo exhaustivo con la Convención Marco pero al menos deben dibujarse la relación que existe entre ambas, apuntando las principales similitudes y diferencias entre ambas, y dejando su clara relación de complementariedad para un apartado posterior.
Ambas normas presentan claras similitudes, pues fueron elaboradas en paralelo y con una intención de evitar incompatibilidades, pero también esenciales diferencias. La Convención Marco tiene un enfoque más constitucional y garantista, es decir, su objetivo principal se centra en la protección de los derechos humanos, la democracia y el Estado de Derecho. Esta es la gran diferencia respecto de los otros ejercicios regulatorios jurídicamente vinculantes, y de manera destacada, respecto del Reglamento de IA de la UE, que se revela en dos cuestiones principales.
En primer lugar, la Convención Marco pretende regular los efectos de la IA desde los principios de la dignidad humana y la autonomía personal.
En efecto, la Convención Marco concibe como objeto de regulación no la tecnología en sí, sino los usos y los efectos que la misma pueda producir. Dicha regulación está inspirada por un entendimiento de la IA centrada en el ser humano (human centered AI), por lo que quedarán proscritos aquellos efectos que atenten contra los intereses y valores humanos y socaven los principios constitucionales occidentales. De esta manera, se diferencia claramente de otros ejercicios regulatorios ambiciosos pero cuya motivación se desvía de la promoción del ser humano en pos de otros intereses. En consecuencia, la Convención Marco concede una posición central a dos principios que deben estar presente y acotar los efectos de una tecnología que puede emular casi todos los comportamientos del ser humano y por tanto ostenta la potencialidad para reemplazarle dada su característica posibilidad de actuar de manera autónoma y aprendiendo por sí misma; estos principios son la dignidad humana y la autonomía personal, sin dejar de lado, además, el resto de valores y principios constitucionales como los derechos fundamentales, la democracia y el Estado de Derecho.
Por tanto, la centralidad del ser humano se enuncia de manera explícita, concediéndole una importancia destacada al señalarse claramente como objetivo de la Convención: “Garantizar que las actividades dentro del ciclo de vida de los sistemas de inteligencia artificial sean plenamente coherentes con los derechos humanos, la democracia y el Estado de Derecho” (art. 1.1). Además, los principios de dignidad humana y autonomía personal se consagran en el articulado, concretamente en el art. 7, asegurándose así su carácter jurídicamente vinculante: “Cada Parte adoptará o mantendrá medidas para respetar la dignidad humana y la autonomía individual en relación con las actividades dentro del ciclo de vida de los sistemas de inteligencia artificial.” De esta manera, estos principios deberán condicionar radicalmente el ciclo de vida de los sistemas de IA, es decir, las actividades desarrolladas durante el ciclo de vida de los sistemas de IA no deberían conducir a la deshumanización de las personas, socavar su capacidad de decisión o reducirlas a meros datos; pero tampoco antropomorfizar los sistemas de IA de una manera que interfiera con la dignidad humana. En definitiva, “la dignidad humana exige reconocer la complejidad y riqueza de la identidad, experiencia, valores y emociones humanas”
En segundo lugar, y como se ha apuntado, a diferencia de la Convención Marco del Consejo de Europa, el Estado de Derecho y la democracia no suponen el principal objeto de preocupación del Reglamento sobre IA de la UE, dados los diferentes objetivos de sendas organizaciones internacionales, sino la adopción de medidas para garantizar el establecimiento y el funcionamiento del mercado interior. Sin embargo, ello no obsta para que la Comisión Europea incluyera entre los objetivos de este Reglamento cuestiones relacionadas, por ejemplo, con los derechos humanos. En este sentido, la Comisión Europea pretendió garantizar, por un lado, “que los sistemas de IA introducidos y usados en el mercado de la UE sean seguros y respeten la legislación vigente en materia de derechos fundamentales y valores de la Unión”; y, por otro, “mejorar la gobernanza y la aplicación efectiva de la legislación vigente en materia de derechos fundamentales y los requisitos de seguridad aplicables a los sistemas de IA”. Es decir, los derechos y otras materias de Derecho Público tienen su importancia, su protección vertebra todo el proyecto de Reglamento, pero no son el objeto principal del instrumento como lo son para la Convención Marco. En este sentido, el Reglamento aglutina, con un cuestionable éxito dos marcos regulatorios: por un lado, uno centrado en la protección de los derechos fundamentales; por otro lado, otro destinado a certificar que los sistemas de IA que se pongan en el mercado cumplan con unos determinados estándares, incluidos los derechos fundamentales.
2.3. De lo global a lo local. Introducción a la relevancia de la Convención Marco para la abogacía
Es una tentación habitual en la práctica forense percibir los tratados internacionales como declaraciones de intenciones lejanas, reservadas a la diplomacia o a los foros académicos de Estrasburgo, con escasa incidencia en el día a día de un despacho. Sin embargo, desde el momento en que España ratifique este instrumento internacional, esta visión debe modificarse en función de tres posibles formas en las que la Convención Marco pueda estar presente en el día a día del abogado.
En primer lugar, la Convención Marco constituirá un nuevo canon interpretativo de los derechos fundamentales en los tribunales. Desde la óptica constitucional, y al amparo del artículo 10.2 CE, los tratados internacionales ratificados por España constituyen el canon hermenéutico obligatorio para interpretar los derechos fundamentales. Cuando un abogado deba impugnar un despido basado en métricas algorítmicas opacas, o recurrir la denegación de una prestación social automatizada, el juez de lo Social o de lo Contencioso-Administrativo, el Tribunal Supremo y el Tribunal Constitucional utilizarán los principios de esta Convención, como la transparencia, la explicabilidad, o la ausencia de sesgos, para determinar si se han vulnerado el derecho a la igualdad (art. 14 CE) o el derecho a la tutela judicial efectiva (art. 24 CE). La Convención Marco otorga al litigante los argumentos jurídicos de autoridad para desmontar el efecto blackbox o “caja negra” de la IA que se ha podido alegar para excusar una posible responsabilidad.
En segundo lugar, con la Convención Marco se podrá anticipar y montar una mejor estrategia en un litigio con objeto tecnológico. Los daños ocasionados por la utilización de la IA cada vez son más comunes, como por ejemplo difamaciones u otros delitos contra los derechos al honor y a la propia imagen por la utilización de deepfakes, discriminación en la concesión de créditos o fallos en sistemas biométricos. La Convención Marco establece un mandato claro a los Estados para garantizar recursos efectivos a las víctimas de sistemas de IA. Conocer este tratado internacional permite al abogado anticipar las nuevas causas de pedir y entender cómo se modulará la carga de la prueba en entornos tecnológicos complejos y preparar estrategias de defensa o acusación alineadas con los estándares del Consejo de Europa y la futura jurisprudencia del TEDH que previsiblemente utilizará la Convención Marco para la interpretación y aplicación del Convenio Europeo de Derechos Humanos (CEDH).
La tercera forma hace referencia a la adaptación del compliance corporativo en una economía globalizada. Es cada vez más habitual que la abogacía mercantilista y los Compliance Officers asesoren a empresas que desarrollan, importan o despliegan IA no solo en España, sino en mercados internacionales. Si bien el Reglamento de IA de la Unión Europea marca las reglas del mercado interior, la Convención Marco es el “suelo mínimo” global. Dado que países extracomunitarios, como el Reino Unido, y los Estados Unidos de America han participado en su redacción (y pueden llegar a ratificarlo, recuérdese que ambos países la han firmado), la Convención Marco se erige como un estándar muy cualificado para el diseño de políticas corporativas transfronterizas. Asesorar hoy a una empresa bajo estos principios es garantizar la viabilidad jurídica y reputacional de sus herramientas de IA a nivel global, integrándolas en sus matrices de riesgo y criterios ESG (ambientales, sociales y de gobernanza).
Para que la abogacía siga siendo la primera línea de defensa del Estado de Derecho, también ahora en la sociedad algorítmica, es imperativo que actualice sus herramientas argumentativas. La Convención Marco ofrece muchos argumentos jurídicos y líneas de argumentación en los casos sobre un uso de la IA no conforme con el ordenamiento jurídico, así como una metodología de enfoque preventivo muy interesante para los usuarios de IA.
3. ARQUITECTURA DE LA CONVENCIÓN MARCO Y ÁMBITO DE APLICACIÓN
3.1. La estructura y el contenido de la Convención Marco
La Convención Marco no es un texto regulatorio exhaustivo, sino que se centra en establecer estándares y obligaciones a partir de principios generales a las Partes que lo firmen y ratifiquen sobre el uso de sistemas de IA con el único objetivo de garantizar que las actividades de estos sistemas sean plenamente coherentes con los derechos humanos, la democracia y el Estado de Derecho. Es una norma internacional de corte bastante clásico, de una buena calidad legislativa (o al menos en comparación con el Reglamento de IA de la UE) en la que, por tanto, los Estados (y en este caso también la UE) son los únicos destinatarios de la Convención, y los que, a partir de su legislación interna, deben desarrollar dichas obligaciones y la actividad del sector privado para dar cumplimiento al citado objetivo.
Para ello, la Convención Marco se compone de un Preámbulo y 36 artículos agrupados en 8 Capítulos, pudiendo resaltarse los siguientes aspectos.
El Capítulo primero establece las Disposiciones generales que incluyen el objeto y la finalidad de la Convención (art. 1), su ámbito de aplicación (art. 3) y la definición de IA (art. 2).
El Capítulo segundo abarca una serie de obligaciones generales para las partes de proteger los derechos humanos, la integridad de los procesos democráticos y el respeto por el Estado de Derecho (arts. 4–5).
El Capítulo tercero trata de “principios relacionados con las actividades dentro del ciclo de vida de los sistemas de IA” (arts. 6–13) por los que se obligan a las partes a adoptar o mantener medidas adecuadas para respetar la dignidad humana y la autonomía personal (art. 7), asegurar la transparencia y supervisión (art. 8), la rendición de cuentas y responsabilidad de los sistemas de IA identificando el contenido generado por IA (art. 9), asegurando la igualdad, la no discriminación (art. 10), la intimidad y la protección de los datos personales (art. 11), promocionando la confiabilidad de los sistemas de IA (art.12) y la confianza en sus resultados y la innovación segura (art. 13).
En el Capítulo cuarto se hace referencia a recursos efectivos y salvaguardias en caso de violación de derechos humanos (arts. 14 y 15).
En el Capítulo quinto se establece un marco de medidas para identificar, evaluar, prevenir y mitigar los riesgos de un sistema de IA en cuanto a su potencial impacto en los derechos, democracia y Estado de Derecho (art. 16).
El Capítulo sexto (arts. 17–22) se centra en la “Aplicación de la Convención”, señalando principios que deben respetarse como la no discriminación (art. 17), los derechos de las personas con discapacidad y de los niños (art. 18), la realización de consultas públicas (art. 19), la alfabetización capacidades digitales (art. 20) y la prohibición de considerar esta Convención como una limitación a otros textos de derechos fundamentales (art. 21) permitiendo a las Partes establecer medidas de protección más amplias (art. 22).
El Capítulo séptimo, sobre “Mecanismos de seguimiento y cooperación” (arts. 23–26), además de fomentar la cooperación internacional entre las Partes y ayudar a Estados que no sean parte para actuar de manera coherente con lo establecido en la Convención, se dedica a establecer un mecanismo de seguimiento dentro del Consejo de Europa para seguir la implementación de las obligaciones de la Convención compuesta por representantes de las partes, llamado Conferencia de las Partes. Por último, el art. 26 impone la obligación de cada Parte de establecer mecanismos eficaces para supervisar el cumplimiento de las obligaciones de la Convención.
La Convención acaba con un Capítulo de “Disposiciones finales” (arts. 27–36) entre las que se incluyen la posibilidad de reforma de la Convención (art. 28), la firma y la entrada en vigor (art. 30), una cláusula federal (art. 33) y la prohibición de formular reservas (excepto la establecida en el art. 33.1) (art. 34).
3.2. Ámbito de aplicación: sujetos obligados y límites
3.1.1. La diferencia entre sector público y sector privado, pero ambos sometidos a la Convención Marco
En la Convención Marco se establece una diferencia radical entre el sector público y el sector privado respecto a la forma de cumplir las obligaciones establecidas. De hecho, esta diferenciación fue la cuestión más controvertida objeto de negociación durante todos los años de trabajo del CAI y solo se llegó a un acuerdo en los últimos minutos de la última reunión plenaria, ya entrada la noche.
Respecto de los poderes públicos, la Convención Marco es clara al establecer que cada parte la aplicará “a las actividades dentro del ciclo de vida de los sistemas de inteligencia artificial llevadas a cabo por autoridades públicas o agentes privados que actúen en su nombre”, sin ningún tipo de excepción o puntualización (excepto la defensa, la seguridad nacional y la investigación como se mencionará más adelante).
Sin embargo, para entender cómo y hasta qué punto la actividad del sector privado queda vinculada a las exigencias de la Convención Marco, se debe atender a tres preceptos de manera conjunta: en primer lugar, el art.1 que señala que el objetivo de esta norma es garantizar que las actividades de los sistemas de IA sean “plenamente coherentes con los derechos humanos, la democracia y el Estado de Derecho”, con independencia de que corresponda al sector público o al sector privado; en segundo lugar, al art. 3.1.b), que desarrolla en detalle la aplicabilidad de la Convención al sector privado, como se explicará a continuación; y, en tercer lugar, el art. 24, que establece la obligación de cada Parte de informar periódicamente sobre las actividades emprendidas para dar efecto a la vinculatoriedad de la Convención tanto respecto de las actividades de las autoridades públicas como del sector privado.
Respecto de las actividades llevadas a cargo por actores privados no incluidos en el art. 3.1.a), cada Parte solo tendrá la obligación de abordar los riesgos y los impactos surgidos de sus actividades (art. 3.1.b). Esta obligación se llevará cabo teniendo en cuenta tres cuestiones:
– la primera, ha de ser conforme con el objeto y propósito de la Convención. En este sentido, el art. 1.2 establece que cada Parte ha de adoptar o mantener medidas legislativas, administrativas o de otra naturaleza apropiadas para dar efecto a las obligaciones establecidas en esta Convención. Estas medidas serán graduadas y diferenciadas según sea necesario en vista de la gravedad y la probabilidad de impactos adversos en los derechos humanos, democracia y Estado de Derecho durante el ciclo de vida de los sistemas de IA, pudiendo incluir medidas horizontales aplicables con independencia del tipo de tecnología utilizada;
– la segunda supone que, al ratificar la Convención, cada Parte debe especificar en una declaración cómo pretende implementar esta obligación, ya sea aplicando los principios y obligaciones establecidos en los Capítulos II al VI de la Convención a actores privados, o tomando otras medidas adecuadas para el cumplimiento de las obligaciones establecidas en el art. 3.1.b). Esta declaración puede ser modificada en cualquier momento, o de cualquier manera;
– la tercera, como se ha apuntado anteriormente, cada Parte debe informar a la Conferencia de las Partes (Mecanismo de seguimiento de la Convención, desarrollado en el Capítulo VII) dentro de los dos primeros años y después periódicamente, de los detalles de las actividades desarrolladas para dar efecto al art. 3.1.a) y b).
En definitiva, dentro del entendido de que el Estado o la parte firmante se compromete a que el sector privado observe las obligaciones que la Convención establece, se concede un amplio margen en cuanto a la forma de hacerlo, esto es, a través de figuras jurídicamente vinculantes o no, pero siempre respetando un enfoque basado en el riesgo.
3.1.2. Límites a la aplicación de la Convención Marco: la seguridad nacional y la investigación
La Convención Marco excluye de su ámbito de aplicación dos materias, pero con un diferente alcance y condicionantes: por un lado, la seguridad nacional y la defensa; por otro lado, la investigación.
En primer lugar, la Convención Marco asume las limitaciones de aplicabilidad del Estatuto del Consejo de Europa, concretamente la establecida en el art. 1.d) que excluye “las cuestiones relativas a la defensa nacional” del ámbito de aplicación del Consejo de Europa.
En cuanto a la seguridad nacional, sin entrar en la problemática de su definición y concreción de su ámbito, diferentes, por cierto, en cada país y en cada organización internacional, se prolongó a lo largo de todos los trabajos de negociación y redacción de la Convención una encendida discusión sobre la extensión de los requisitos, condicionamientos, límites y prohibiciones a las materias e intereses de seguridad nacional. Los argumentos a favor y en contra fueron variados y de diversa índole. La discusión quedó enmarcada en la evidencia de que los compromisos internacionales de respeto por los derechos humanos no podían ser obviados por la mera utilización de esta tecnología, más al contrario, se recordó insistentemente que la Convención Marco tendría que ser interpretada junto con las obligaciones de respeto de los derechos humanos que las Partes hubieran asumido, teniendo en cuenta una cada vez más la dilatada jurisprudencia del Tribunal Europeo de Derechos Humanos en materias tales como terrorismo o espionaje masivo.
En segundo lugar, siempre que las Partes así lo deseen, las obligaciones de la Convención no se aplican a los sistemas de IA relacionadas con la protección de sus intentes de seguridad nacional, La razón de la exclusión de la investigación, con las limitaciones que se señalarán a continuación, obedece a no obstaculizar la innovación tecnológica, pues es un propósito esencial dada la potencialidad beneficiosa de esta tecnología en todos los niveles.
Por tanto, no se aplicará la Convención Marco “a las actividades de investigación y desarrollo relativas a sistemas de inteligencia artificial que aún no se hayan puesto a disposición para su uso, a menos que las pruebas o actividades similares se lleven a cabo de manera que puedan interferir en los derechos humanos, la democracia y el Estado de Derecho”, sin perjuicio del establecimiento de entornos controlados con el objetivo de desarrollo, experimentación y prueba siempre bajo la supervisión de las autoridades competentes y del intercambio de información fruto de la cooperación internacional sobre contextos de investigación.
4. PRINCIPALES PRINCIPIOS DE LA CONVENCIÓN MARCO Y NUEVOS PARADIGMAS DE RESPONSABILIDAD. EL ENFOQUE PREVENTIVO
4.1. De la ética a la obligación legal
En todos los códigos de buena conducta, memoranda o recomendaciones sobre el uso de la IA se hace referencia a los principios éticos. Son decenas los ejemplos sobre este tipo de códigos, memoranda, recomendaciones, etc. De manera paradigmática podríamos citar los trabajos del Grupo Independiente de Expertos de Alto Nivel sobre Inteligencia Artificial de la Comisión Europea (AI HLEG), y en especial el titulado “Directrices éticas para una IA fiable” pues fue clave como base técnica y conceptual para todo el marco ético y regulatorio que la Unión Europea ha desarrollado desde entonces, incluyendo las directrices de “IA Fiable” (Trustworthy AI) y el Reglamento de IA. En todos estos documentos se identifican principios éticos, (en el citado se señalan los principios de respeto de la autonomía del daño, la prevención del daño, la equidad y la explicabilidad) y subraya la importancia de ser respetados, pero ninguno establece sistemas de implementación porque no son vinculantes.
Lo determinante es pasar de enfoques que asesoran, orientan y aconsejan, a posturas exigibles por medios coercitivos, es decir, obligaciones jurídicas. Este es el paso que da la Convención Marco, estableciendo una serie de contenidos jurídicamente vinculantes, principalmente conformados por principios jurídicos, pero no solo.
A efectos explicativos, los distintos principios que conforman el Convenio podrían agruparse en cuatro categorías.
A) Principios marco: Capítulo II (Obligaciones generales)
El primer grupo de principios serían aquellos que proporcionan estructura y unidad constitucional al Convenio, que constituyen un verdadero marco e imponen obligaciones marco, valga la redundancia.
En primer lugar, está el principio de protección de los derechos humanos, que impone la obligación de «garantizar que las actividades dentro del ciclo de vida de los sistemas de IA sean coherentes con las obligaciones de proteger los derechos humanos, tal y como se consagran en el derecho internacional aplicable y en su legislación nacional» (art. 5).
En segundo lugar, está el principio de garantizar «la integridad de los procesos democráticos y el respeto del Estado de Derecho» para asegurar que los sistemas de IA no se utilicen para socavar la integridad, la independencia y la eficacia de las instituciones y los procesos democráticos, incluido el principio de la separación de poderes, el respeto de la independencia judicial y el acceso a la justicia, y «velar por la protección de sus procesos democráticos en el contexto de las actividades relacionadas con el ciclo de vida de los sistemas de inteligencia artificial, incluido el acceso equitativo de las personas al debate público y su participación en él, así como su capacidad para formarse opiniones libremente» (art. 6).
Los principios de la democracia y el Estado de Derecho figuran en el mismo artículo, dado su vínculo inseparable: la democracia solo funciona si se rige por normas que respeten los principios del Estado de Derecho, y el Estado de Derecho solo goza de legitimidad si surge de un proceso democrático.
Esta obligación general se refiere a dos tipos específicos de aspectos.
En primer lugar, aspectos de relevancia institucional, por lo que cada parte del Convenio debe adoptar o mantener medidas para garantizar que los sistemas de IA no se utilicen para socavar la integridad, la independencia y la eficacia de las instituciones y los procesos democráticos, incluida la separación de poderes, el respeto a la independencia judicial y el acceso a la justicia.
En segundo lugar, se refiere a los procesos de relevancia democrática, en el sentido de que cada signatario del Convenio debe proteger sus procesos democráticos en el contexto de las actividades que se inscriben en el ciclo de vida de los sistemas de IA, incluido el libre acceso de las personas al debate público y su capacidad para formarse opiniones libremente. Esta expresión, quizás algo enrevesada, se refiere a una obligación proactiva por parte de las partes de supervisar y garantizar que el entorno informativo de las personas no sea manipulado de manera que condicione a los ciudadanos individuales en su libertad de voto, luchando contra el «hacking cognitivo» que las nuevas tecnologías permiten y facilitan, pervirtiendo la esencia misma de la participación democrática.
En el cumplimiento de sus obligaciones de proteger las instituciones y los procesos democráticos, las Partes deberán prestar especial atención a los riesgos que plantean los sistemas de IA para el principio de separación de poderes entre los poderes ejecutivo, legislativo y judicial; o para un sistema eficaz de controles y contrapesos entre los tres poderes del Estado; o para una distribución equilibrada de poderes entre los distintos niveles de gobierno (separación vertical de poderes); o al pluralismo político (con especial atención a la libertad de expresión, la libertad de asociación y la libertad de reunión pacífica) y a la existencia de medios de comunicación pluralistas e independientes y de una variedad de partidos políticos que representen diferentes intereses y puntos de vista, así como al acceso equitativo y la participación en el debate público; o a la participación en los procesos democráticos mediante elecciones libres y justas, y a la pluralidad de formas de participación, junto con el respeto de los derechos de las minorías políticas; o al respeto del Estado de Derecho (que, en general, abarca los principios de legalidad, seguridad jurídica y no arbitrariedad) y al principio de acceso a la justicia y su correcta administración; y, por supuesto, al respeto del principio de independencia judicial.
B) Principios constitucionales: Capítulo III (Principios relacionados con las actividades a lo largo del ciclo de vida de los sistemas de inteligencia artificial)
Estos principios se centran en la protección de los aspectos más esenciales que pueden estar implicados en las actividades de un sistema de inteligencia artificial a lo largo de su ciclo de vida. Se trata de los principios de dignidad humana y autonomía individual (art. 7), igualdad y no discriminación (art. 10), y protección de la intimidad y de los datos personales (art. 11). Todos ellos se aplicarán “en relación con los sistemas de inteligencia artificial de manera adecuada a su ordenamiento jurídico interno y a las demás obligaciones del presente Convenio” (art. 6).
C) Principios instrumentales o técnicos (Capítulo III)
La Convención establece una serie de principios más técnicos que permiten la eficacia de los principios constitucionales anteriormente indicados. Estos también se incluyen en el Capítulo III y se denominan «Principios relacionados con las actividades dentro del ciclo de vida de los sistemas de inteligencia artificial».
El primer principio que cabe mencionar por su relevancia es el principio de transparencia (art. 8). Este principio abarca una serie de obligaciones técnicas y jurídicas de suma importancia. Como se señala en el Informe Explicativo de la Convención Marco, la transparencia se refiere a la apertura y la claridad en la gobernanza de las actividades dentro del ciclo de vida de los sistemas de inteligencia artificial y significa que los procesos de toma de decisiones y el funcionamiento general de dichos sistemas deben ser comprensibles y accesibles para los actores pertinentes en materia de inteligencia artificial. En algunos casos, esto también podría referirse a proporcionar información adicional, por ejemplo, sobre los algoritmos utilizados, por lo que garantizar la transparencia de un sistema de inteligencia artificial podría requerir la comunicación de información adecuada sobre el sistema. Esto implica, y así se establece explícitamente en el artículo 8 de la Convención Marco, identificar los contenidos generados por IA para evitar el riesgo de engaño y permitir la distinción entre contenidos auténticos, generados por humanos, y contenidos generados por IA, ya que estos últimos son cada vez más difíciles de identificar para las personas, mediante técnicas como el etiquetado o la marca de agua.
En el marco del requisito de transparencia, cabe destacar dos conceptos clave: la explicabilidad y la interpretabilidad.
El término «explicabilidad» se refiere a la capacidad de proporcionar, en función de la viabilidad técnica y teniendo en cuenta el estado de la técnica, explicaciones suficientemente comprensibles sobre por qué un sistema de inteligencia artificial proporciona información, genera predicciones, contenidos, recomendaciones o toma decisiones, lo cual es especialmente crucial en ámbitos sensibles como la sanidad, las finanzas, la inmigración, los servicios fronterizos y la justicia penal, donde es esencial comprender el razonamiento que subyace a las decisiones generadas o asistidas por un sistema de inteligencia artificial. En tales casos, la transparencia podría, por ejemplo, adoptar la forma de una lista de factores que el sistema de inteligencia artificial tiene en cuenta al informar o tomar una decisión.
La interpretabilidad hace referencia a la capacidad de entender cómo un sistema de inteligencia artificial hace sus predicciones o toma sus decisiones o, en otras palabras, la medida en que los resultados de los sistemas de inteligencia artificial pueden hacerse accesibles y comprensibles tanto para los expertos como para los no expertos. Implica hacer que el funcionamiento interno, la lógica y los procesos de toma de decisiones de los sistemas de inteligencia artificial sean comprensibles y accesibles para los usuarios humanos, incluidos los desarrolladores, las partes interesadas y los usuarios finales, así como las personas afectadas.
El segundo principio, también establecido en el art. 8 de la Convención Marco es el principio de supervisión, que se refiere a los diversos mecanismos, procesos y marcos diseñados para supervisar, evaluar y orientar las actividades a lo largo del ciclo de vida de los sistemas de inteligencia artificial. Estos pueden consistir, potencialmente, en marcos jurídicos, políticos y normativos, recomendaciones, directrices éticas, códigos de prácticas, programas de auditoría y certificación, y herramientas de detección y mitigación de sesgos.
El tercer principio importante es el de la rendición de cuentas y la responsabilidad, tal y como se establece en el artículo 9 de la Convención Marco. Estos principios son inseparables de los principios de transparencia y supervisión mencionados anteriormente y se refieren a la necesidad de establecer mecanismos para que las personas, organizaciones o entidades responsables de actividades dentro del ciclo de vida de los sistemas de inteligencia artificial rindan cuentas por los efectos adversos sobre los derechos humanos, la democracia o el Estado de derecho que se deriven de dichas actividades. Concretamente, la disposición exige a las Partes que establezcan nuevos marcos y mecanismos, o que mantengan los marcos y mecanismos existentes que puedan aplicarse a las actividades dentro del ciclo de vida de los sistemas de inteligencia artificial para dar cumplimiento a este requisito, lo que puede incluir medidas judiciales y administrativas, regímenes de responsabilidad civil, penal y de otro tipo y, en el sector público, procedimientos administrativos y de otro tipo para impugnar decisiones, o la atribución de responsabilidades y obligaciones específicas a los operadores.
Junto con los principios más de carácter jurídico de igualdad y prohibición de discriminación y de privacidad y protección de datos personales, hemos de terminar destacando el esencial pincipio fiabilidad (reliability), cuyo cometido principal es generar una confianza justificada en la fiabilidad de un sistema de inteligencia artificial si su desarrollo y utilización se ajustan a estas normas.
Esta disposición señala el papel que pueden desempeñar las normas, las especificaciones técnicas, las técnicas de garantía y los regímenes de conformidad en la evaluación y verificación de la fiabilidad de los sistemas de inteligencia artificial y para documentar y comunicar de forma transparente las pruebas de este proceso. Con este principio se pretende destacar la importancia de establecer medidas que traten de garantizar la fiabilidad de los sistemas de inteligencia artificial a través de medidas que aborden aspectos clave del funcionamiento como la robustez, la seguridad, la protección, la precisión y el rendimiento, así como requisitos previos funcionales como la calidad y la precisión de los datos, la integridad de los datos, la seguridad de los datos y la ciberseguridad. Las normas, los requisitos y los regímenes de garantía y conformidad pertinentes pueden abarcar estos elementos como condición previa para crear con éxito una confianza pública justificada en las tecnologías de inteligencia artificial.
D) Recursos y garantías procesales (Capítulo IV)
Por último, cabe mencionar el conjunto de obligaciones procesales que tienen por objeto “garantizar la disponibilidad de recursos accesibles y eficaces en caso de violaciones de los derechos humanos derivadas de las actividades que tienen lugar a lo largo del ciclo de vida de los sistemas de inteligencia artificial”.
Este capítulo es el más detallado en cuanto a las acciones específicas que se exigen a las partes, las cuales se especifican en las siguientes obligaciones: en primer lugar, la obligación de documentar la información pertinente relativa al sistema de IA y su uso, y de ponerla a disposición de las personas afectadas; en segundo lugar, dicha información debe ser suficiente para impugnar las decisiones adoptadas o basadas sustancialmente en el uso del sistema de IA y el uso del propio sistema; en tercer lugar, la posibilidad efectiva de presentar una reclamación ante las autoridades competentes; en cuarto lugar, la obligación de proporcionar garantías procesales, salvaguardias y derechos efectivos a las personas afectadas en relación con la aplicación de un sistema de inteligencia artificial cuando dicho sistema afecte de manera significativa al disfrute de los derechos humanos y las libertades fundamentales; en quinto lugar, la notificación de que se está interactuando con un sistema de inteligencia artificial.
4.2. El enfoque basado en el riesgo y la metodología para preverlo anticipadamente. HUDERIA, una herramienta imprescindible para la abogacía
Para concretar aún más el objeto de regulación de la Convención, se ha adoptado un enfoque que parte de una afirmación ampliamente compartida tanto por la industria como por la academia: no es necesario regular todo uso de todo sistema de IA, sino simplemente aquellos que impliquen un riesgo de impacto o perjuicio significativo, llegando a prohibirse determinados usos de IA que produzcan perjuicios inasumibles o intolerables en los derechos fundamentales y demás intereses constitucionales, concretamente a la democracia y al Estado de Derecho.
A diferencia de como se establece en el Reglamento de la IA, la Convención Marco del Consejo de Europa no estructura su contenido con base en el riesgo e impacto, a pesar de recoger este enfoque de manera muy clara en el art. 1 afirmando que las medidas que las partes de la Convención deben adoptar para darle efecto “se graduarán y diferenciarán según sea necesario en vista de la gravedad y la probabilidad de que se produzcan efectos adversos en los derechos humanos, la democracia y el Estado de Derecho a lo largo de todo el ciclo de vida de los sistemas de inteligencia artificial.”
Sin embargo se recoge de manera clara en el Capítulo V “Evaluación y mitigación de riesgos e impactos adversos”, al establecerse un marco de gestión de riesgos e impactos exigiendo que cada Parte adopte o mantenga “medidas para la identificación, evaluación, prevención y mitigación de los riesgos que plantean los sistemas de inteligencia artificial, teniendo en cuenta las repercusiones reales y potenciales para los derechos humanos, la democracia y el Estado de Derecho” que deberán graduarse y diferenciarse en función de una serie de circunstancias y criterios detallados en el art. 16, entre los cuales se encuentran el contexto y el uso previsto de los sistemas de IA, en particular lo que respecta a los riesgos para los derechos humanos, la democracia y el Estado de Derecho; la gravedad y probabilidad de los posibles impactos y las perspectivas de las personas cuyos derechos puedan verse afectados. Dichas medidas se aplicarán en las actividades dentro del ciclo de vida del sistema de IA, incluyendo el seguimiento de los riesgos y efectos adversos para los derechos humanos, la democracia y el Estado de Derecho, la documentación sobre los riesgos, así como someter a pruebas a los sistemas de inteligencia artificial antes de ponerlos a disposición para su primera utilización y cuando se modifiquen significativamente.
Esta gestión de riesgos puede devenir en la necesidad de establecer moratorias o directamente prohibiciones respecto de ciertos usos cuando se considere sean “incompatibles con el respeto de los derechos humanos, el funcionamiento de la democracia o el Estado de Derecho”.
Sin embargo, a diferencia del Reglamento de IA de la UE, la Convención Marco no identifica qué usos están prohibidos, sencillamente y en coherencia con el cuerpo normativo del Consejo de Europa y jurisprudencial del TEDH, se proscriben los sistemas de IA que vulneren los derechos fundamentales y los principios de Estado de Derecho y de la democracia, tras realizar, por un lado, juicios de proporcionalidad de las medidas que prevén el uso de sistemas de IA y vulneren dichos intereses jurídicos protegidos, teniendo en cuenta los principios ya clásicos de previsión de la norma, fin legítimo y necesidad en una sociedad democrática y, por otro, juicios de ponderación en la aplicación de las mismas.
La Convención Marco, por tanto, exige la adopción de marcos de evaluación del riesgo e impacto del uso de sistemas de IA (art. 16) y anticiparse así a los efectos perjudiciales que el sistema de IA pudiera generar.
Por tanto, la responsabilidad no termina en el despliegue de un sistema de IA, sino que exige una vigilancia continua, llevando a cabo evaluaciones de riesgo y del impacto de la IA cuya verdadera vocación es prever el riesgo y el impacto desde el primer momento del diseño del sistema de IA.
El CAI ha elaborado su propia metodología, centrada en los derechos humanos, la democracia y el Estado de Derecho. Esta evaluación se ha bautizado como HUDERIA, un acrónimo de término en inglés de evaluación de impacto en derechos humanos, democracia y Estado de Derecho (Human Rights, Democracy and Rule of Law Impact Assessment).
La evaluación de riesgos e impactos de los sistemas de IA desde el punto de vista de los derechos humanos, la democracia y el Estado de Derecho (HUDERIA) es una guía que ofrece un enfoque estructurado para la evaluación de riesgos e impactos de los sistemas de IA, específicamente diseñado para la protección y promoción de los derechos humanos, la democracia y el Estado de Derecho, aplicable perfectamente, por cierto, para los sistemas de IA que se usen por parte de abogados y profesionales del Derecho.
Está destinada a ser utilizada por actores públicos y privados y desempeña un papel único y fundamental en la intersección entre las normas internacionales de derechos humanos y los marcos técnicos existentes sobre gestión de riesgos en el contexto de la IA.
Es importante destacar que HUDERIA es un documento de orientación independiente y no vinculante jurídicamente. Las Partes de la Convención Marco tienen la flexibilidad de utilizarlo o adaptarlo, en su totalidad o en parte, para desarrollar nuevos enfoques de evaluación de riesgos o perfeccionar los existentes, de conformidad con sus leyes aplicables. Sin embargo, las Partes deben cumplir plenamente sus obligaciones en virtud del Convenio Marco.
HUDERIA se basa en conceptos y terminología establecidos para evaluar los riesgos relacionados con los derechos humanos, incluyendo la escala, el alcance, la probabilidad y la reversibilidad, y proporciona orientación adaptada a las complejidades del ciclo de vida de la IA. Sus objetivos son orientar los esfuerzos de gestión de riesgos relacionados con los derechos humanos, la democracia y el Estado de Derecho, y ofrecer una metodología flexible para identificar, evaluar y mitigar los riesgos en diversas aplicaciones de IA.
HUDERIA combina una orientación general (la metodología HUDERIA) con flexibilidad para su adaptación, presentando conceptos, procesos y elementos de alto nivel para evaluar los riesgos y los impactos de los sistemas de IA en los derechos humanos, la democracia y el Estado de Derecho. A un nivel más específico, ofrece materiales de apoyo, como herramientas y recomendaciones escalables, para facilitar la implementación y servir de recurso para enfoques más amplios de gestión de riesgos.
HUDERIA se compone de cuatro elementos.
El primero elemento, y quizá más complicado pero útil, versa sobre el análisis de riesgos basado en el contexto (Context-Based Risk Analysis, COBRA). Este análisis comienza con la identificación de los factores de riesgo clave, esto es, las características específicas dentro del contexto del ciclo de vida de un sistema de IA que aumentan la probabilidad de que se produzcan efectos adversos sobre los derechos humanos, la democracia y el Estado de Derecho. El análisis de estos factores permite y facilita la identificación de los posibles efectos adversos. A partir de esta información, el proceso de clasificación se centra en identificar y priorizar los sistemas con riesgos significativos, garantizando que la metodología HUDERIA siga siendo proporcional y no resulte excesivamente onerosa para los sistemas de IA de riesgo mínimo o bajo. Este proceso también respalda la toma de decisiones informadas sobre si los beneficios de crear o implementar un sistema de IA superan sus riesgos, en particular en lo que respecta a los posibles impactos en los derechos humanos, la democracia y el Estado de Derecho.
El segundo elemento es el proceso de participación de las partes interesadas (Stakeholder Engagement Process, SEP). La participación de las personas interesadas, y principalmente afectadas por el sistema de IA que se está evaluando, mejora la evaluación de riesgos e impactos al incorporar sus perspectivas afectadas identificadas durante la fase anterior (COBRA). Este proceso no solo mejora la calidad del análisis de riesgos, sino que también fomenta la transparencia, genera confianza y mejora la usabilidad y el rendimiento del sistema de IA.
El tercer elemento es la propia evaluación de riesgo e impacto (Risk and Impact Assessment, RIA). Se realiza una evaluación detallada de los impactos potenciales y reales de las actividades del sistema de IA en los derechos humanos, la democracia y el Estado de Derecho, centrándose especialmente en los sistemas que plantean riesgos significativos identificados durante la clasificación del análisis de riesgos basado en el contexto (COBRA). Implica reexaminar, contextualizar y ampliar los daños potenciales, al tiempo que se evalúan variables de riesgo clave como la escala, el alcance, la reversibilidad y la probabilidad para priorizar y gestionar los riesgos de manera eficaz. Basándose en el análisis basado en el contexto (COBRA) y en los posibles conocimientos del proceso de participación de las personas interesadas, este paso garantiza una comprensión exhaustiva de los riesgos para informar las estrategias de mitigación y gobernanza.
Por último, el cuarto elemento trata sobre el plan de mitigación (Mitigation Plan). Este elemento describe las acciones y estrategias para abordar los impactos adversos y mitigar los daños identificados. Implica la formulación de medidas específicas basadas en la gravedad y la probabilidad de estos daños y el desarrollo de un plan integral para implementarlas. Cuando sea apropiado, también incluye el establecimiento de mecanismos para que las personas afectadas y otras partes interesadas puedan acceder a soluciones.
5. CONVENCIÓN MARCO Y REGLAMENTO DE IA DE LA UE: COMPLEMENTARIEDAD Y “EFECTO ESTRASBURGO”
5.1. Planteamiento del problema
Para un importante número de Estados europeos, concretamente para los 27 que integran la UE, la aprobación de la Convención Marco y del Reglamento de IA supone un potencial conflicto en caso de que existieran divergencias en su exigencias y requisitos. Como se ha mencionado anteriormente, este escenario tan poco deseable se ha tenido en cuenta en todo momento durante el proceso de negociación y redacción de la Convención Marco y evitar así todo posible conflicto o disconformidad.
En este punto cobra también importancia la cuestión anteriormente señalada sobre si la Convención Marco debe ser ratificada en exclusiva por la Unión Europea, o también por los 27 Estados miembros (pues en el momento de elaborar estas páginas se está discutiendo esta cuestión). La consecuencia jurídica es relevante: en el primer caso, la Convención Marco pasaría a formar parte del Derecho de la Unión Europea, y con dicha naturaleza se incorporaría a los ordenamientos jurídicos de los 27 Estados miembro; en el segundo caso, la Convención Marco sería un tratado internacional clásico de Derecho Internacional Público, sometida a la Convención de Viena de los Tratados, de 23 de mayo de 1969, e incorporado al ordenamiento jurídico nacional conforme al sistema constitucionalmente previsto; en el caso de España, conforme al art. 96.1 CE, sin olvidar la importancia para la interpretación de las normas en materia de derechos fundamentales en virtud del art. 10.2 CE.
Esta decisión y negociación entre la UE y los Estados miembros deben tener en cuenta que entre ambos instrumentos jurídicos existe una clara relación de complementariedad en el marco de lo que podríamos denominar un “efecto Estrasburgo” en contraposición con el famoso “efecto Bruselas”.
5.2. La relación de complementariedad entre el Reglamento y la Convención Marco
Desde nuestro punto de vista, existe una clara relación de complementariedad entre las dos normas, puesto que el Reglamento sustituye la legislación nacional de los Estados miembros de la UE por el Derecho de la UE directamente aplicable, y la Convención Marco aborda la cooperación intergubernamental sobre cómo regular el diseño, el desarrollo y la aplicación de los sistemas de Inteligencia Artificial en relación con los derechos humanos, la democracia y el Estado de Derecho. El Reglamento regula el mercado interior de productos de IA de la UE, mientras que el nuevo Convenio Marco del Consejo de Europa se centra en principios más amplios para el desarrollo y la aplicación de sistemas de IA desde el punto de vista de su impacto en los derechos humanos, la democracia y el Estado de Derecho. En definitiva, el Reglamento de la UE contribuye a la armonización del mercado interior, mientras que la Convención es el “suelo mínimo” global de derechos fundamentales.
No obstante, ambos instrumentos jurídicos siguen estando estrechamente relacionados, ya que comparten los mismos valores básicos, y el Reglamento de IA regula más detalladamente algunas de las cuestiones abordadas por el Convenio Marco del Consejo de Europa en forma de principios comunes.
Dicho esto de manera apresurada, debería prestarse atención a dos argumentos principales.
El primer argumento ha referencia al contenido o el ámbito objeto de regulación. Obviamente, este aspecto solo interesa a los Estados miembros de la UE que vayan a firmar y ratificar la Convención Marco.
Si bien es cierto que en apariencia parecen ser totalmente coincidentes, sobre todo desde que ambas normas excluyen la seguridad nacional de su ámbito de aplicación, un estudio riguroso revela que el Reglamento aborda la regulación desde las competencias que el mercado interior le ofrece; es decir, desde el mercado interior no se puede regular en toda su extensión los efectos que la IA pueda ocasionar en los derechos fundamentales, en el Estado de Derecho y en la democracia, como sí puede la Convención Marco al no estar limitada por el sistema de atribución de competencias sobre el que se basa la UE.
Deteniéndonos en los derechos fundamentales, en el Reglamento se señala que su objetivo es garantizar los derechos fundamentales de la Carta (art. 1). Pero el contenido de la Carta no es equivalente con los derechos que constituyen el objeto de la Convención Marco, cuyo art. 4 se refiere a los derechos consagrado en el Derecho internacional aplicable y en el Derecho interno de cada Parte firmante. Es decir, a pesar de que el Derecho de la UE reconoce y asimila el acervo constitucional de los Estados miembros, por lo menos en España, cada texto constitucional en materia de derechos fundamentales por un lado, y la Carta de Derechos Fundamentales de la UE (en adelante CDFUE) por otro, tienen un ámbito y un contenido no equivalentes ni coincidentes. Además, la UE no puede auto-atribuirse una competencia regulatoria en materia de derechos humanos puesto que el mismo art. 51.2 CDFUE establece claramente que “La presente Carta no crea ninguna competencia ni ninguna misión nuevas para la Comunidad ni para la Unión y no modifica las competencias y misiones definidas por los Tratados”. También es importante señalar que la UE no tiene firmados los mismos tratados internacionales en materia de derechos humanos que los 27 Estados, o en nuestro caso España; sin ir más lejos, podría mencionarse el CEDH, al que la UE sigue en proceso de adhesión. Por tanto, aunque hay un proceso de convergencia material, no hay identidad en absoluto.
Si se toma en cuenta el Estado de Derecho, el art. 1 del Reglamento lo incluye en su ámbito de regulación a través de los derechos fundamentales de la CDFUE. En efecto, la UE desarrolla principalmente instituciones del Estado de Derecho a raíz de derechos proxy, como el art. 47 de la CDFUE y el art. 19.1.2 del Tratado de la UE (en adelante TUE): esos derechos son la base que el Tribunal de Justicia de la UE (en adelante TJUE) utiliza para sus sagas de sentencias contra Hungría y sobre todo Polonia para combatir la reforma del Poder Judicial. Esta jurisprudencia evidencia que la UE no tiene atribuciones explícitas competenciales en materia de Estado de Derecho, sino que el TJUE va construyendo de manera pretoriana un entendimiento del Estado de Derecho vía esos dos preceptos que albergan derechos fundamentales muy concretos. El Estado de Derecho se reconoce como un valor fundamental de la UE (art. 2 TUE), pero no como una competencia horizontal. Para no extendernos en estas consideraciones que ameritarían un análisis mucho más exhaustivo y técnico, lo mismo que se ha afirmado para el Estado de Derecho podría afirmarse para la democracia, para cuyo desarrollo no tiene atribuciones competenciales claras, sino que desarrolla esta institución y sus principios vía derechos proxy, especialmente por cuestiones del mercado digital. De nuevo, la competencia de la regulación del mercado interior.
Como ya se señaló, el Reglamento combina dos marcos regulatorios muy diferentes: la protección de derechos fundamentales y el desarrollo de una legislación de producto o sistema de certificaciones para la introducción en el mercado de la UE de sistemas de IA. Pero la materia objeto de la Convención Marco no es solo IA, sino eminentemente IA en relación con derechos fundamentales (y Estado de Derecho y democracia) y, si bien la UE ostenta la competencia de regulación del uso de la tecnología y sobre todo su certificación, no agota la dimensión constitucional de los efectos que esta tecnología puede desplegar en los derechos fundamentales, en los principios del Estado de Derecho y en los procesos e instituciones democráticas. La diferente dimensión, punto de vista, o espíritu si se quiere, desde el que se aborda uno y otro texto son totalmente diferente, uno mercantil y otro constitucional. Una simple lectura de los considerandos del Reglamento y del Informe Explicativo de la Convención Marco es suficiente para constatar dicha diferencia. Por ello, son instrumentos que se complementan desde el punto de vista material.
En segundo lugar, desde el punto de vista de los firmantes, se hace más evidente aún el carácter de complementariedad de ambos textos. Además del sector civil, industrial y académico, el CAI estaba integrado por los 46 Estados miembros del Consejo de Europa, sus 5 Estados observadores, esto es, Canadá, Estados Unidos, Santa Sede, México y Japón, y además por Australia, Argentina, Costa Rica, Uruguay, Perú, Israel y la Unión Europea representada por la Comisión. Los respectivos sistemas jurídicos e intereses regulatorios de todos estos países eran muy diversos, por lo que solo un nivel alto de generalidad en la formulación de las obligaciones posibilitó un acuerdo satisfactorio para todos. El ejemplo más evidente lo supuso el diferente régimen regulatorio que finalmente se ha previsto entre el sector privado y el sector público. Durante las negociaciones y redacción de la Convención, países con una industria potente de IA, como Japón, Israel, Reino Unido, Estados Unidos o Canadá, entre otros y por diferentes razones, manifestaron su imposibilidad de aceptar una regulación exhaustiva para el sector privado como se establecía para el sector público. Esta diferenciación que implicaba una rebaja de los estándares de protección de los derechos humanos en relación con el sector privado era inadmisible para muchos países, en especial para la mayoría de los 27 Estados miembros de la UE y para la UE misma. Las posturas eran tan frontales que el proceso de negociación y redacción estuvo estancado durante meses en esta materia. Sin embargo, cuando en el último trílogo de la UE sobre el proyecto de Reglamento sobre IA, en diciembre de 2023, se anunció el acuerdo final entre el Parlamento Europeo y el Consejo, la mayoría de los Estados miembros de la UE, de manera destacada España, supieron ver que el Reglamento mantendría unos altos estándares de protección de los derechos para el sector privado, por lo que no tenía sentido replicar dichos estándares en la Convención y menos si con ello se ponía en peligro la incorporación de los países mencionados con un fuerte sector privado tecnológico.
En definitiva, una vez se aprobó el Reglamento, la complementariedad entre ambos textos salvó el proceso de negociación de la Convención Marco, aunque supuso, por un lado, rebajar sus estándares generales, lo que le granjeó una fuerte crítica de los representantes de la sociedad civil en el CAI; y por otro, dejar a la voluntad de los Estados cómo regular el sector privado, con el protagonismo de una declaración que puede cambiarse en cualquier momento (art. 3) y permitiendo una total indeterminación de la naturaleza jurídica del instrumento que lo regule (art. 1).
5.3. Del “efecto Bruselas” al “efecto Estrasburgo”, relevante para la abogacía
Los juristas europeos estamos familiarizados con el denominado “efecto Bruselas”, es decir, la capacidad de la Unión Europea para establecer normativas de mercado (como ocurrió con el Reglamento General de Protección de Datos Personales) que acaban convirtiéndose en el estándar de facto a nivel mundial, debido a que las multinacionales (y muchos Estados) prefieren unificar sus procesos globales bajo el paraguas normativo más exigente. El Reglamento sobre IA aspira, sin duda, a replicar este fenómeno. Sin embargo, su naturaleza es fundamentalmente la de una norma de armonización del mercado interior.
En este punto la Convención Marco despliega su verdadero potencial estratégico para los operadores jurídicos, incluyendo a la abogacía, generando lo que empieza a denominarse como “efecto Estrasburgo”, y que debe ser tenido en cuenta debido a los siguientes tres puntos relevantes.
En primer lugar, la Convención Marco es un tratado de alcance genuinamente global. A diferencia de la normativa comunitaria, la Convención no se circunscribe a los Estados europeos, sus fronteras y su visión eurocentrista del Derecho. Con la presencia de potencias tecnológicas, muchas no europeas como los Estados Unidos de América, Reino Unido, Canadá, Japón, Australia e Israel se evidencia que la Convención Marco no es un tratado regional más, sino el primer consenso jurídico global sobre IA y derechos humanos. Se sigue así los pasos de otras convenciones, cuyos principios y requisitos se han extendido y consolidado en realidades no europeas. El Convenio sobre Cibercrimen, o más conocido como Convenio de Budapest surge claramente como ejemplo paradigmático, al haber sido firmado por 76 países, de los cuales no son Estados miembro del Consejo de Europa Argentina, Australia, Benín, Brasil, Cabo Verde, Canadá, Chile, Colombia, Costa de Marfil, República Dominicana, Fiyi, Gana, Granada, Israel, Japón, Kiribati, Mauricio, Marruecos, Nigeria, Panamá, Paraguay, Perú, Filipinas, Senegal, Sierra Leona, Sri Lanka, Tonga, Túnez y los Estados Unidos de América. Pero no es el único. El Convenio para la protección de las personas con respecto al tratamiento automatizado de datos de carácter personal ha sido ratificado por 55 países, no siendo miembros del Consejo de Europa Argentina, Cabo Verde, Mauricio, México, Marruecos, Federación Rusa, Senegal, Túnez y Uruguay.
En segundo lugar, la Convención Marco facilita una interoperabilidad jurídica en operaciones transfronterizas. La IA no entiende de fronteras jurisdiccionales. Cuando un despacho español asesora a una empresa local que contrata servicios en la nube impulsados por IA de un proveedor estadounidense, o cuando acompaña a una startup española en su expansión hacia mercados latinoamericanos o anglosajones, se enfrenta a un complejo puzle regulatorio. La Convención Marco proporciona a los mercantilistas y expertos en compliance un lenguaje normativo común. Al ser un instrumento al que pueden adherirse terceros Estados, actúa como un “puente de interoperabilidad”: permite a las empresas diseñar modelos de gobernanza y cumplimiento (protección de datos, mitigación de sesgos, transparencia) que serán válidos y reconocidos a ambos lados del Atlántico.
En tercer lugar, la Convención Marco supone el “suelo mínimo” de la Lex Mercatoria tecnológica. Mientras que el Reglamento sobre IA de la UE impone requisitos técnicos muy detallados para el marcado UE, la Convención establece el “suelo mínimo” de garantías democráticas y de derechos humanos. Para los asesores de empresa, esto significa que estructurar los protocolos de compliance corporativo en torno a los principios de la Convención garantiza que la empresa cumplirá con el núcleo duro de las exigencias internacionales, independientemente de las divergencias técnicas que puedan existir entre las futuras leyes locales de IA en EE. UU., Reino Unido o Asia.
En definitiva, para el abogado que estructura contratos internacionales de transferencia de tecnología, o para el Compliance Officer que diseña políticas corporativas globales, la Convención Marco no es un añadido retórico al Reglamento de IA de la UE; es la red de seguridad jurídica que permite a sus clientes operar a escala internacional sin incurrir en contingencias legales vinculadas a la vulneración de derechos fundamentales.
6. PRESENCIA DIRECTA EN LA PRÁCTICA PROFESIONAL DEL ABOGADO
La Convención Marco puede jugar un papel relevante en el ejercicio de la abogacía de manera transversal, influyendo en áreas enteras de nuestra práctica profesional. A grandes rasgos, y a efectos ilustrativos, se pueden identificar tres ámbitos de aplicación inmediata.
En primer lugar, en el asesoramiento corporativo y compliance algorítmico (Derecho Mercantil y de Empresa). La autorregulación voluntaria y los meros “principios éticos” corporativos ceden de importancia ante la presencia de obligaciones legales exigibles en virtud de la Convención Marco. Por ejemplo, en la gestión del riesgo legal, los abogados mercantilistas y los responsables de cumplimiento normativo (Compliance Officers) deberán integrar el impacto en los derechos humanos en las matrices de riesgo de sus clientes. Ya no basta con evaluar el riesgo financiero o de ciberseguridad; si una empresa desarrolla o utiliza sistemas de IA (desde algoritmos de filtrado de currículums hasta concesión de créditos), el abogado deberá auditar que no generen sesgos discriminatorios. Otro ejemplo puede encontrarse en la contratación y responsabilidad civil. En el diseño de contratos tecnológicos, fusiones o adquisiciones de empresas de software, la due diligence algorítmica se vuelve imprescindible. El asesor jurídico debe garantizar que el sistema de IA adquirido cumple con las salvaguardias del tratado para evitar la importación de responsabilidades ocultas.
En segundo lugar, el Derecho Público y la defensa frente al “Estado Algorítmico” (Derecho Administrativo) Las Administraciones Públicas están automatizando a gran velocidad la toma de decisiones, desde la detección del fraude fiscal hasta la asignación de prestaciones sociales. Esta asimetría de poder requiere nuevas defensas procesales. Por ejemplo, será cada vez más frecuente la impugnación de actos administrativos automatizados. En este escenario, la Convención Marco subraya la necesidad de transparencia y de explicabilidad. El abogado administrativista encontrará en ella el asidero legal para exigir que la Administración revele la lógica subyacente de un sistema de IA cuando deniega un derecho a un ciudadano. Además, como se resaltó en la introducción de este trabajo, la Convención Marco exige mecanismos de revisión humana frente a decisiones algorítmicas críticas. Esto abre una vía de impugnación fundamental, a modo de “reserva de humanidad”, que implique la nulidad de aquellas actuaciones administrativas automatizadas que carezcan de una supervisión humana significativa o que no permitan al afectado ejercer su derecho al recurso de manera efectiva.
En tercer lugar, la litigación, prueba y derechos fundamentales (Derecho Procesal, Civil y Penal). El pleito tecnológico cobra cada vez más importancia, y la Convención proporciona el armazón argumentativo para la defensa de los derechos fundamentales ante los juzgados de primera instancia, el Tribunal Supremo o el propio Tribunal Constitucional. Por ejemplo, uno de los mayores desafíos para el abogado litigante es demostrar la discriminación cuando la decisión la toma una “caja negra” (carga de la prueba en la discriminación algorítmica). La Convención Marco obliga a los Estados a garantizar vías de recurso eficaces. Esto impulsará a nuestros tribunales a flexibilizar las reglas de prueba o admitir periciales algorítmicas para demostrar, por ejemplo, sesgos de género, raza o edad en herramientas predictivas. Por razones obvias, ha de prestarse una atención especial al potencial impacto en la Justicia Penal. En sistemas de predicción de reincidencia o reconocimiento facial en espacios públicos, los abogados penalistas contarán con un estándar internacional claro para cuestionar la validez de la prueba tecnológica si esta vulnera la presunción de inocencia, el derecho a un juicio justo o la privacidad del acusado, invocando directamente la jurisprudencia que emane del Tribunal Europeo de Derechos Humanos a la luz de esta Convención.
7. A MODO DE CONCLUSIÓN. LA ABOGACÍA EN LA ERA ALGORÍTMICA
Del análisis de la Convención Marco se evidencia que el impacto de la IA no es únicamente un desafío tecnológico, sino profundamente constitucional y de derechos humanos. En este nuevo escenario, el rol de la abogacía adquiere una relevancia sin precedentes. La Convención Marco no debe percibirse como un instrumento abstracto y alejado de la práctica, sino como una herramienta jurídica esencial y vinculante, respaldada históricamente por la profesión legal global a través de la International Bar Association (IBA).
Los abogados se erigen hoy como la primera línea de defensa del Estado de Derecho en la era algorítmica. Ante la proliferación de sistemas opacos (efecto “caja negra”) que automatizan decisiones vitales, discriminan mediante sesgos o amenazan la integridad democrática, es el jurista quien debe interponerse para garantizar que la tecnología se subordine a la dignidad humana. La Convención Marco dota a los profesionales de un nuevo canon interpretativo y de argumentos de autoridad para exigir transparencia, explicabilidad y rendición de cuentas ante los tribunales. Asimismo, permite a los letrados anticipar estrategias litigiosas y diseñar modelos de compliance corporativo transfronterizo que aseguren la viabilidad jurídica y ética de las empresas a nivel internacional.
Sin embargo, para ejercer eficazmente esta defensa, la profesión no puede permanecer pasiva frente al cambio. La abogacía no puede ser ajena a la revolución de la IA; debe tener un papel activo y central en la gobernanza de estas tecnologías.
Por ello, es imperativo hacer una llamada a la acción a todos los profesionales del Derecho. Debemos actualizar urgentemente nuestras herramientas argumentativas y dominar los nuevos marcos proactivos de evaluación de riesgos, como la metodología HUDERIA. Es indispensable que conozcamos la tecnología para poder modular la carga de la prueba, exigir responsabilidades y lograr recursos efectivos para las víctimas de daños algorítmicos. Además, los colegios de abogados y los despachos de todo el mundo deben asegurar la rápida adopción e implementación de estos estándares internacionales en su práctica diaria.
En definitiva, la supervivencia de las instituciones democráticas requiere que los abogados asuman su responsabilidad histórica frente al avance tecnológico. Solo mediante una abogacía formada, comprometida y armada con instrumentos como la Convención Marco sobre IA y derecho humanos, democracia y Estado de Derecho, podremos asegurar que la justicia y el Estado de Derecho prevalezcan inalterables frente a los riesgos de la sociedad algorítmica.
8. BIBLIOGRAFÍA
- Anu BRADFORD, The Brussels Effect: How the European Union Rules the World, Oxford University Press, 2020.
- Rafael BUSTOS GISBERT, y Francisco Javier GARCÍA ROCA, Fortalecimiento de la democracia y el Estado de Derecho a través de la inteligencia artificial, IVAP, Oñati, 2025.
- Rafael BUSTOS GISBERT, “Constitucionalismo e inteligencia artificial: marco conceptual”, en Rafael BUSTOS GISBERT, y Francisco Javier GARCÍA ROCA, Fortalecimiento de la democracia y el Estado de Derecho a través de la inteligencia artificial, IVAP, Oñati, 2025, pp. 13–42.
- Lorenzo COTINO HUESO (dir.), Pere SIMÓN CASTELLANO (dir.), Tratado sobre el Reglamento de Inteligencia Artificial de la Unión Europea. Aranzadi, Madrid, 2024.
- Alberto GAGO FERNÁNDEZ, “El reglamento Europeo sobre Inteligencia Artificial”, Rafael BUSTOS GISBERT, y Francisco Javier GARCÍA ROCA, Fortalecimiento de la democracia y el Estado de Derecho a través de la inteligencia artificial, IVAP, Oñati, 2025, pp. 43–72.
- Florence G’SELL, “Regulating under Uncertainty: Governance Options for Generative AI”, Stanford Cyber Policy Center, Freeman Spogli Institute and Stanford Law School, Julio de 2024.
- Mario, HERNÁNDEZ RAMOS (a), El impacto de la inteligencia artificial en el derecho constitucional, CEPC y Tribunal Constitucional, Madrid, 2025
- Mario HERNÁNDEZ RAMOS (b), “La Convención Marco del Consejo de Europa sobre Inteligencia Artificial y derechos humanos, democracia y Estado de Derecho. El primer tratado internacional en la materia”, en Rafael BUSTOS GISBERT, y Francisco Javier GARCÍA ROCA, Fortalecimiento de la democracia y el Estado de Derecho a través de la inteligencia artificial, IVAP, Oñati, 2025, pp. 93–123.
- Mario HERNÁNDEZ RAMOS (c), “The difficult road to the Framework Convention. Dilemmas and strengths in the regulation of AI by the Council of Europe”, The Italian Journal of Public Law, vol. 17, issue 4/2025, pp. 1242–1263
- Mario HERNÁNDEZ RAMOS, “El marco jurídico regulatorio europeo de la inteligencia artificial: La relación de complementariedad entre el Reglamento de la UE y la convención marco del Consejo de Europa”, Revista Española de Derecho Europeo, num. 92, 2024, pp. 9–41, pp. 17–36.
- Miguel Ángel PRESNO LINERA, “La regulación de la inteligencia artificial en Europa. El Reglamento de la Unión Europea y Convenio Marco del Consejo de Europa”, en Gonzalo CASTRO MARQUINA, El Derecho ante el reto de las tecnologías disruptivas. Actualidad legislativa y jurisprudencial, A Coruña, Colex, 2025, pp. 383–404.
- Miguel Ángel PRESNO LINERA, “El reglamento europeo de inteligencia artificial. ¿Garantía del mercado o defensa de los derechos?”, Revista Española de Derecho Constitucional, num. 135, 2025, pp. 13–49.
- Nathalie A. SMUHA, “Biden, Bletchley, and the emerging international law of AI”, VerfBlog, 2023/11/15, https://verfassungsblog.de/biden-bletchley-and-the-emerging-international-law-of-ai/, DOI:10.59704/e74941ad144ce5ff
