Sesgos, Discriminación y Uso de la IA

Dr. Agustí Cerrillo i Martínez resalta que el uso de la Inteligencia Artificial (IA) por las Administraciones Públicas debe evitar los sesgos, la discriminación y, consecuentemente, no incurrir en la violación de los derechos fundamentales.

La ponencia del Dr. Agustí Cerrillo i Martínez intitulada Preventing biased results and discriminatory effects of AI use in Public Administration aborda la necesidad de prevenir resultados sesgados y efectos discriminatorios derivados del uso de la inteligencia artificial (IA) en la Administración Pública (AP). En esta ocasión, se resaltan los riesgos asociados a los errores que a menudo surgen en los algoritmos o en los resultados obtenidos. Estos errores pueden tener consecuencias negativas tanto para las personas como para la AP. Así, resultados distorsionados o incorrectos que, en la práctica, no representan la realidad de las personas analizadas. Basado en el padrón ISO, el Dr. Cerrillo define el sesgo como el grado en que un valor de referencia se desvía de la verdad.

También expuso el Dr. Cerrillo que el sesgo puede, precisamente, implicar un impacto negativo en el derecho de las personas a la igualdad, ya que puede generar discriminación, particularmente cuando no existe una causa objetiva y razonable que justifique un trato diferencial. Se menciona una encuesta del Eurobarómetro 92 (2019), que revela que el 36% de los encuestados estaban preocupados de que el uso de la IA pudiera dar lugar a discriminación por motivos de edad, género o nacionalidad. El Dr. Cerrillo subraya, por lo tanto, la importancia de monitorear el sesgo y la discriminación en la administración pública, ya que estos base de datos erróneas tienen raíces históricas y ahora se ven amplificados por las tecnologías de IA.

En seguida, el Dr. Cerrillo recupera la idea de que el principio de igualdad es reconocido como uno de los valores fundamentales en la Carta de los Derechos Fundamentales de la Unión Europea. Sin embargo, actualmente, no existen regulaciones europeas específicas que limiten el uso de la IA a partir del principio de igualdad. Además, hay que recordar segundo él que la jurisprudencia actual no ha emitido fallos específicos al respecto. Se enfatiza también la necesidad de considerar la confiabilidad como un medio para prevenir el sesgo algorítmico, haciendo hincapié en varios factores como la robustez, legalidad, supervisión humana, transparencia, responsabilidad y gobernanza.

Como el ejemplo sobre los efectos del uso indiscriminado de la IA, el Dr. Cerrillo describe varias razones por las cuales los algoritmos suelen generar sesgos y discriminación, incluyendo el riesgo de vicios en las decisiones totalmente automatizadas, el diseño algorítmico y los diferentes niveles de la calidad de los datos. Otro punto que se señala es el factor de género o el étnico entre ingenieros y programadores, una especie de inercia de valores, pues el creador en algún momento perderá el control de la criatura. De este modo, concluye que la discriminación en los algoritmos se suma en general a la calidad y representatividad de los datos. Por fin, hace referencia a la propuesta Ley de Inteligencia Artificial, que incluye disposiciones dedicadas la prevención de sesgos y la supervisión humana. Además, que parece exigir en alguna medida la necesidad de una gobernanza de datos y de supervisión humana para prevenir el sesgo y la discriminación en la IA.

La ponencia del Dr. Agustí Cerrillo i Martínez, Catedrático de Derecho Administrativo, Universitat Oberta de Catalunya, contó con el apoyo del Proyecto de Investigación PID2020-115774RB-I00 Personalización de los Servicios Públicos, Sesgos e Inteligencia Artificial: hacia la Consolidación de los Derechos Digitales en las Administraciones Públicas. Ver más aquí. Su intervención tuvo lugar el 19 de noviembre de 2023.

Para volver a la página anterior, haz click aquí.