Acuerdo histórico de la nueva Ley de Inteligencia Artifial Europea

El pasado viernes, 8 de diciembre, el Parlamento Europeo y los Estados miembros llegaron a un acuerdo para aprobar Ley de Inteligencia Artificial de la UE (AI-Act). Se trata de un texto legislativo fundamental que adopta un enfoque basado en niveles de riesgo para regular los sistemas de IA, prohibiendo determinadas aplicaciones, al tiempo que impone estrictas obligaciones reglamentarias y de cumplimiento a otras. De esta forma, se contemplan sistemas de IA prohibidos (como el reconocimiento facial masivo o la valoración de las personas); sistemas de alto riesgo, que requieren ciertos controles (por ejemplo, IA para la educación, el control de fronteras o el reclutamiento); y sistemas que suponen un riesgo menor (por ejemplo, el control de spam en los correos), con menos controles.

En Eraneos hemos seguido la evolución de esta ley, su enfoque basado en el riesgo y cómo este afecta a nuestra línea de trabajo y a nuestros clientes.
 
Esta versión de la AI-Act se ha revisado recientemente para tratar los denominados modelos fundacionales y la Inteligencia Artificial Generativa, como una categoría especial propia con obligaciones específicas para los proveedores de dichos modelos de IA.

Resumen de la nueva ley

En respuesta a la rápida evolución de la tecnología y la IA, la UE ha presentado la Ley de IA como marco regulador para garantizar que los sistemas de IA instalados y utilizados en la UE sean seguros, respeten la legislación vigente, los derechos fundamentales de sus ciudadanos y los valores de los sindicatos.
 
Resumida, la AI-Act aprobada adopta un enfoque basado en el riesgo de las aplicaciones de IA, clasificándolas en inaceptables, de alto riesgo, de riesgo limitado y de bajo riesgo, al tiempo que presta especial atención a los llamados sistemas generativos de IA.
 
Aplicaciones prohibidas: sistemas como el reconocimiento facial en tiempo real, los sistemas de puntuación social (basados en el comportamiento o la situación socioeconómica de las personas), la vigilancia policial predictiva, así como el software de reconocimiento de emociones, por ejemplo, en el ámbito policial. Todos ellos se consideran, con razón, una amenaza para las personas y muy contrarios a sus derechos fundamentales, por lo que no se permite su comercialización en la UE.
 
Los sistemas de alto riesgo, es decir, aquellos que pueden afectar negativamente a la seguridad de las personas o a sus derechos, deben ser evaluados antes de su comercialización, así como reevaluados a lo largo de todo su ciclo de vida. Se dividen en dos grandes categorías:
 
1.   Sistemas de IA que se encuadran en 8 ámbitos de aplicación específicos:

2. Los sistemas de IA utilizados en productos como juguetes, coches o dispositivos médicos deben someterse a otras evaluaciones de seguridad con arreglo a las normas y reglamentos de la UE sobre seguridad de los productos. Ejemplos de ello son los algoritmos de búsqueda de perfiles profesionales en el ámbito laboral, u otras aplicaciones como los sistemas de IA destinados a utilizarse como componentes de seguridad en el funcionamiento de las carreteras y la gestión del tráfico, o el suministro de agua, gas, calefacción y electrificación, por citar sólo algunos.
 
Por último, los sistemas de riesgo limitado y bajo riesgo incluyen aplicaciones como los videojuegos y juegos de ordenador con IA, los filtros de spam y la mayoría de los demás tipos de sistemas de IA. ¿Qué significa la AI-Act aprobada por el Parlamento Europeo para los modelos de fundación? En resumen, los cambios aprobados significan que los modelos como GPT4, con aplicaciones de amplio uso como ChatGPT, se consideran ahora de alto riesgo en virtud de la AI – Act. Esto significa que sus proveedores

Los proveedores de las aplicaciones de IA generativa creadas a partir de los modelos básicos (por ejemplo, ChatGPT de Open-Ai, que se basa en GPT3.5 y GPT4) ahora también deben distinguir claramente los contenidos generados por IA, así como describir las fuentes de datos utilizadas para entrenar los modelos con el fin de garantizar el cumplimiento de la legislación sobre derechos de autor, que sin duda será un área clave de intenso debate en un futuro próximo con respecto a estos modelos.
 
En la actualidad, numerosas organizaciones están trabajando en la evaluación de los distintos grados de cumplimiento de la AI-Act, pero ya está claro que algunos proveedores van un paso por delante en este sentido.
 
Un trabajo reciente de investigadores del Human-Centered Artificial Intelligence Lab de Stanford, por ejemplo, califica a BLOOM (y a su proveedor HuggingFace) como la entidad más conforme con 12 categorías de requisitos AI-Act analizados. La figura 1, que resume sus conclusiones, demuestra lo adelantado que está BLOOM en este aspecto.
 
Al mismo tiempo, muchos proveedores obtienen malos resultados en lo que se refiere a la mitigación de riesgos y la divulgación de estos. Con un elevado potencial de uso indebido y abuso, relativamente pocos proveedores revelan las medidas de mitigación que aplican, o la eficacia de estas, cuando se trata de preocupaciones en torno a la seguridad de los modelos de fundación y los productos/soluciones que se derivan de dichos modelos.
 
En palabras de los investigadores, los proveedores rara vez miden el rendimiento de sus modelos en escenarios de abuso intencionado. Esto tiene implicaciones muy importantes para las preocupaciones en materia de ciberseguridad con respecto a los modelos fundacionales y las aplicaciones de IA generativa, y viene a demostrar que el sector aún necesita más tiempo para madurar.

¿Qué significa esto para Eraneos y sus clientes?

¿Cuáles son las implicaciones para Eraneos y nuestros clientes? Por supuesto, la respuesta depende mucho de los sectores, aplicaciones o soluciones concretos en los que estemos trabajando. Pero lo que está claro es que los sistemas de IA no pueden adaptarse e implantarse en todas partes y que tendremos que considerarlos desde la perspectiva de la gestión de riesgos. En otras palabras, tenemos que considerar cuidadosamente nuestras obligaciones, especialmente cuando queramos construir soluciones o aplicaciones sobre sistemas de IA de alto riesgo, como los modelos de cimientos.
 
Además, también hay que tener en cuenta los costes del cumplimiento. Estudios de evaluación de impacto de la Comisión Europea estiman que los costes de cumplimiento ascienden aproximadamente al 10- 14% de los costes totales de desarrollo. Además:

Dentro de la propia UE, preocupan los costes de cumplimiento desproporcionados y los riesgos de responsabilidad para las empresas que trabajan con modelos generativos de IA y los desarrollan. No obstante, también debemos ser conscientes de la inmadurez del mercado a la hora de comprender y mitigar los riesgos y posibles daños de los modelos generativos y fundacionales.
 
Garantizar la seguridad de las soluciones de IA generativa es sin duda uno de los mayores retos, ya que los investigadores de seguridad han demostrado en repetidas ocasiones la facilidad con la que se pueden eludir las barreras de seguridad en torno a los modelos subyacentes.
 
En la actualidad, la comunidad académica, los organismos reguladores como ENISA y las agencias de normalización como el Instituto Nacional de Normas y Tecnología de Estados Unidos (NIST) están realizando una gran labor para definir, normalizar, medir y evaluar comparativamente los sistemas de IA con respecto a la ciberseguridad, con el fin de elaborar marcos para proteger mejor los sistemas de IA y hacer frente a sus riesgos. Estos pasos positivos aún requieren tiempo para ser fructíferos.
 
La Ley de IA no es una varita mágica y, aunque puede aportar un enorme valor a las organizaciones públicas y privadas por igual, lo ideal es que sea aplicada por profesionales que tengan en cuenta los diversos riesgos e impactos de la IA, garantizando al mismo tiempo el cumplimiento de las obligaciones éticas y legales.
 
Mientras tanto, nuestra consolidada experiencia en el suministro de datos complejos y soluciones de IA, y nuestro profundo conocimiento de las complejidades de este panorama son nuestros mayores activos a la hora de asesorar a las partes interesadas sobre cómo navegar por las implicaciones del enfoque de desarrollo de la IA basado en el riesgo, sobre cómo aplicar la IA en la práctica y sobre cómo evitar trampas y mitigar sus riesgos. Si se pregunta cómo puede afectar la Ley de IA a su empresa o necesita ayuda para navegar por este panorama, póngase en contacto directamente con nosotros o con uno de nuestros expertos.
 
En Eraneos, combinamos la comprensión del negocio, los conocimientos técnicos, una amplia experiencia y nuestra mentalidad innovadora para activar sus datos y convertirlos en valor real. Nos impulsa el logro de resultados significativos y nos dedicamos a liberar todo el potencial de lo digital, y todo el potencial de los Datos y la IA. Asesoramos, diseñamos, creamos y ofrecemos soluciones de datos e IA.

La opinión de Juan Ignacio Rouyet

El gurú y responsable de IA de Eraneos Iberia, Juan Ignacio Rouyet, también se ha posicionado en esta materia, afirmando ante todo que «este paso regulatorio es imprescindible», refiriéndose a la Ley de IA. Toda actividad humana con implicaciones en la sociedad está regulada. La aviación está regulada y eso hace que «volar sea más seguro y por ello volamos más tranquilos», añade. La circulación de vehículos por las calles está regulada, y eso permite «salir de casa con menos riesgo». La regulación de la IA «va a favorecer la innovación porque nos llevará a una IA con riesgos más controlados en la que podremos confiar», concluye.

Sin embargo, también explica que su debilidad radica en las propias carencias de toda normativa: «solo es capaz de regular aquello de lo cual se conocen o prevén sus consecuencias; y es una actuación ex post, solo interviene una vez cometido el delito. La ley no puede regular lo que no se sabe que va a ocurrir». Esto es especialmente relevante en el caso de la IA, por su velocidad de desarrollo y la imposibilidad de prever sus consecuencias.

Para evitar la actuación ex post, corresponde aplicar acciones ex ante, que prevengan los riesgos. Una de tales acciones es la auditoría previa y la certificación. La IA tiene que ser auditable. En este sentido, algunas empresas ya han iniciado el camino.

Referencias