Conclusiones Cuarto Seminario Digitapia

13 de mayo de 2024

Control, Auditoría y Supervisión de Sistemas de IA

El pasado 7 de mayo celebramos en Universidad Pablo de Olavide un intenso seminario analizando las técnicas de control, auditoría y supervisión de los sistemas de Inteligencia Artificial (IA), cuestión central en el desarrollo de esta tecnología. Ver el programa del evento aquí.

El enfoque fue multidisciplinar, integrando ingenieros, informáticos interventores/auditores, politólogos y juristas. Obtuvimos las siguientes conclusiones:

☑ En el plano conceptual no existe univocidad en el sentido que debe darse a términos como «control», «supervisión», «auditoría», «evaluación de impacto», etc. Se tiende a utilizar el término «evaluación» (sin apellidos) para agrupar al conjunto de estas técnicas;

☑ En el plano práctico existen algunas herramientas desarrolladas para realizar evaluaciones. Son de muy diverso perfil y denominación: auditoría (de sistemas, o a secas) de IA, evaluación de impacto, inspección… Tampoco hay univocidad aquí, solapándose las técnicas y contenidos, lo que impide diferenciar unas de otras;

☑ Al incluirse estos términos en textos normativos, esto supone un grave problema de seguridad jurídica, pues son interpretables de diverso modo, generando grandes dudas sobre su alcance;

☑ Se han dictado 4 normas ISO (todas ellas ratificadas por AENOR en 2023) para la estandarización de algunos procesos: ISO/IEC 22989:2022. Conceptos y terminología de IA; ISO/IEC 23053:2022 Marco para sistemas de IA que utilizan Machine Learning; ISO/IEC/TR 24027:2023 Sesgos en los sistemas de IA y en la toma de decisiones asistida por IA; e ISO/IEC TR 24029-1:2021. IA. Evaluación de la robustez de las redes neuronales;

☑ El término «supervisión» suele aludir a «humana». Debe ser multidisciplinar, integrando enfoques: tecnológicos, jurídicos, éticos, etc;

☑ A las técnicas más tradicionales (protección de datos, sesgos) el nuevo Reglamento IA de la UE añade la evaluación de impacto (riesgos) sobre la salud, el medio ambiente y los derechos fundamentales, sin concretar su alcance. Es preciso desarrollar claramente cómo realizarlo;

☑ Es imprescindible un desarrollo normativo que:

– Aclare conceptualmente (definiciones) lo que se entiende por «control», «auditoría», «supervisión», «evaluación de impacto» (en salud, medio ambiente, seguridad, derechos fundamentales…).

– Diferencie entre evaluaciones ex ante, durante y ex post.

– Desarrolle el alcance de cada técnica para que sean aplicadas uniformemente, superando el amplio margen de apreciación (e inseguridad) actual.

– Asigne claramente las responsabilidades de cada actor.

Mi gratitud infinita a ponentes y moderadores: Ignacio Sierra Ruiz, Manuel J. García Rodríguez, Juan Luis Ceada Ramos, eva maria mota sanchez, Lola Carranza, J. Ignacio Criado, Clara I. Velasco Rico, Julián Valero-Torrijos, Antonio David Berning Prieto, Juli Ponce Solé, Agustí Cerrillo i Martínez y Curro Perez Guerrero. Y a Wellington Migliari y Digitapia e IA por el soporte a la organización.