Relatoría Algoritmos públicos abiertos y que no discriminen

RESUMEN

La intervención que abre los trabajos el 25 de abril nos pone de relieve el hecho de que la regulación y el uso de la inteligencia artificial en las administraciones públicas siguen alimentando más una reacción motivada entre juristas por su desconocimiento e inseguridad sobre las nuevas tecnologías que las posibles dudas que nos resultarían avanzar en la elaboración de una legislación sobre el uso de la inteligencia artificial. Los parámetros generales para guiar el debate deberían ser no la desconfianza, pero el compatible uso y apropiación de las tecnologías hacia al interés general. Otro elemento es pensar como el empleo de la inteligencia artificial en la Administración Pública nos podrá auxiliar en una evaluación de impacto más precisa sobre la oferta de servicios que necesitamos o incluso las respuestas más rápidas y mejores demandadas por el conjunto de la ciudadanía en su propio beneficio. Una segunda reflexión propuso la importancia de contestar a la pregunta sobre el grado de transparencia necesario para que la implementación de tecnologías de información sea segura y no produzca discriminación. Por otro lado, fue destacado que los usos de la inteligencia artificial que ya se hacen actualmente en las administraciones públicas también deberían estar en el centro de nuestra atención, pues estar al día de sus finalidades nos ayuda a entender mejor sus problemas y a afrontar el tema con más objetividad. Los algoritmos Bosco y RisCanvi, o los sistemas deterministas como el del COMPAS, son ejemplos de aplicación de inteligencia artificial en el sector público, de los cuales sabemos su existencia, pero poco nos llega de información sobre sus circunstancias de uso y protección de datos. Es más, ya se nota que el proceso de toma de decisiones de las inteligencias artificiales puede funcionar, como suele pasar también con los algoritmos de aprendizaje de máquina, de forma parcial o no neutral. Por eso, la búsqueda de una normativa de adherencia y legislación adecuada en decisiones administrativas parece nos imponer la tarea de evitar y de corregir la vulneración de derechos o incluso los estereotipos de determinados grupos de ciudadanos.
 
Hay tres bloques de dificultad o acción que se proponen para un análisis efectivo de los algoritmos y promoción de la transparencia en el uso de inteligencia artificial. El primer concierne a la toma de decisiones de los algoritmos y su regulación transparente. En según lugar, la necesidad de producir algoritmos con alguna previsibilidad sobre sus usos y finalidades. Este segundo bloque debe venir acompañado de una serie de buenas prácticas nacionales y de aquellas nacidas de la experiencia comparada con relativo éxito en otros países. El tercer bloque se refiere a la importancia de mantener las bases de datos administrativas actualizadas y revisadas. Potenciales errores y sesgos, iguales a los producidos por asociación entre personas distintas en una misma región geográfica, no se restringen apenas a problemas de código fuente o elevada opacidad de los algoritmos, pero también a informaciones incompletas, mal seleccionadas y banco de datos inestables. Sin una base de datos segura y depurada, las decisiones administrativas tomadas por máquinas, aunque reguladas y con sus usos mínimamente previstos en la legislación, probablemente incurran en violación de derechos y vulneración de garantías fundamentales.    
 
Frente a los sesgos y riesgos que imponen el uso de la inteligencia artificial bien como el uso de máquina en las administraciones públicas, también se abordó sobre el derecho a una buena administración y de qué manera ella puede extenderse a la realidad algorítmica en que vivimos hoy. Por eso la importancia de un conjunto de normas y dispositivos legales que garanticen la transparencia sobre el uso de códigos fuente y algoritmos hacia la toma de decisiones en procedimientos y actos administrativos electrónicos. Sin embargo, los principios de transparencia, imparcialidad y trato equitativo, innegables pilares del derecho a la buena administración en ámbito europeo y español, no son suficientes para el debate de la buena administración algorítmica. Por ejemplo, ¿Cómo harmonizar el trámite de audiencia tras el uso de decisiones motivadas por algoritmos? ¿De qué manera evitar y mitigar decisiones derivadas de análisis erróneas y sesgadas que afectan el derecho de defensa de los individuos en cuanto un principio general?

Durante el 26 de abril, empezamos con la pregunta sobre cuáles son los dispositivos prácticos e indispensables, por ejemplo, si APIs, softwares y catálogos de documentos, que deberíamos combinar con base de datos fiables para el uso de la inteligencia artificial. Luego, ¿qué nivel de datos abiertos necesitan las Administraciones Públicas? ¿Además, son las dimensiones de interoperabilidad y reutilización importantes? Sobre esta última pregunta específicamente, a pesar de que ya exista una normativa, Resolución 19 de febrero de 2013 de la Secretaría de Estado de Administraciones Públicas por que se aprueba la Norma Técnica de Interoperabilidad de Reutilización de recurso de la información, ¿es importante que la interoperabilidad y la reutilización de información sobre los ciudadanos también sirvan como herramientas para eliminar sesgos y mitigar los errores en la toma de decisiones de las administraciones electrónicas? Una salida práctica sobre compartir e integrar datos entre diferentes niveles de la Administración Pública, por lo tanto, pasaría necesariamente por el tratamiento de informaciones cuya finalidad última es garantizar a la vez la propia protección de los datos de los ciudadanos.

En continuidad a los trabajos de este segundo día, especialmente sobre el derecho de acceso a los algoritmos públicos, preguntase de qué manera las normativas en rango de ley ayudan o no a proteger derechos en materia de protección de datos y garantías fundamentales. Frente al uso de la inteligencia artificial, ¿cuáles son los algoritmos que merecerían más control y transparencia? ¿Cuáles predictivos o perfiles indispensables para las decisiones automatizadas en la oferta de servicios desde las administraciones públicas? Sin que sirva de impedimento, una pregunta inicial que antecede a las demás es si los algoritmos que trabajan con información pública son de hecho públicos. Entendiendo los propios algoritmos públicos como datos públicos en lenguaje de programación, incluso los códigos fuentes utilizados por las administraciones públicas, la respuesta es afirmativa. ¿Y por qué queremos acceder a los algoritmos? Algunas razones hasta aquí son la seguridad jurídica, el derecho a la igualdad de tratamiento, evitar el sesgo, el derecho de conocer las motivaciones de los actos administrativos en lenguaje matemático, la garantía del principio de la legalidad y la responsabilidad patrimonial entre otros.

Los límites del derecho de acceso a los algoritmos son otro tema que encajan perfectamente en la normativa estatal como autonómica. Como la noción de acceso a la información en el ordenamiento jurídico español es amplia, se sugiere que partamos de un principio de acceso a algoritmos y códigos fuentes en caso de no existir una normativa específica. Eso nos conllevaría a interpretar los límites de acceso de manera más restrictiva y, así, obtener mayor previsibilidad en los actos administrativos. Cuestionamientos similares a ¿el algoritmo implica un daño a quién? ¿Tanto más riesgo, mayor debe ser el acceso a un determinado algoritmo y, por lo tanto, la protección de derechos? Otras preguntas necesarias que debemos hacer son si ¿Acceso directo total, acceso directo total condicionado, acceso directo limitado, acceso a información relativa al algoritmo, pero no al algoritmo exactamente? Por fin, ¿quién debe poder acceder al algoritmo? Como ya mencionado anteriormente, si se considera un código información pública, a principio cualquier ciudadano o persona legitimada. Sabemos que numerosas aplicaciones algorítmicas en uso, por ejemplo, ya se encuentran en manos de la administración tributaria española y el acceso limitado. La Agencia Tributaria utiliza aplicaciones informáticas y de inteligencia artificial además de big data con informaciones de los contribuyentes, pero la agencia estatal no hace transparente que tipos de aplicaciones le dan suporte en un caso u otro ni tampoco el régimen jurídico que rige la materia es claro.

Algunos casos aplicados nos han servido de ejemplo durante este segundo día de actividades. La experiencia de implantación de la transparencia algorítmica por parte del Ayuntamiento de Barcelona que se ha guiado por una estrategia de uso de inteligencia artificial hacia la ciudadanía construida juntamente con la sociedad civil, colectivos y asociaciones. En Barcelona, la estrategia marca dos objetivos. El primer tiene que ver con la eficacia y eficiencia en la prestación de servicios públicos, o sea, de la administración reactiva a la proactiva. El según es dotar el ayuntamiento de una estructura que permita mejorar la protección de los derechos de la ciudadanía y evitar la discriminación. En materia de innovación digital, la estrategia también incluye la creación de una Comisión Transversal de Inteligencia Artificial de donde las acciones y actuaciones de la administración se impulsarán. El Consejo Asesor para informar sobre posibles riesgos y errores es formado por 15 personas y su representación paritaria con miembros de diferentes edades y perfiles académicos. Hay también un órgano supervisor, la presencia de empresas y de la sociedad civil. El protocolo para estimular la protección de derechos de ciudadanos y la no discriminación prevé diferentes formas de actuación por parte de la administración pública. Una de ellas es incentivar la licitación pública con empresas tecnológicas dispuestas a enseñar sobre códigos algorítmicos.

A nivel autonómico, hubo algunas consideraciones relevantes como sobre la búsqueda de la Comunidad de Valencia en innovar en el proceso de digitalización del servicio público por intermedio de la inteligencia artificial, sistemas de blockchain y una cultura administrativa más moderna. En el caso de la Comunidad Autónoma de Catalunya, en materia de sanidad, se ha destacado la importancia de que la Administración Pública sea la que establezca las prioridades en el lenguaje algorítmico. Ya se sabe que los datos en el sistema de salud de la comunidad tienen relativa alta calidad y, con un entrenamiento adecuado de los datos para fármacos e instrumentos, por ejemplo, los resultados pueden mejorar el sistema de atención hacia la ciudadanía. Por otro lado, es de extrema urgencia que los poderes públicos comuniquen lo cuanto antes a las empresas que buscan apenas beneficiarse económicamente del uso de la inteligencia artificial que la finalidad de se utilizar datos públicos en contratos con el sector privado no podrá abdicar de la finalidad última que es el interés general. Eso puede darse de manera harmoniosa entre el público y el privado por intermedio de normativas, prácticas de gobernanza y medidas de buen gobierno bajo la supervisión de un observatorio. Un cuerpo independiente que dará soporte a iniciativas que hacen el uso de la inteligencia artificial por parte de instituciones o centros de investigación al mismo tiempo que acompañará en nivel de seguridad en materia de protección de datos y evitar el uso de algoritmos que discriminen.

Específicamente sobre los reglamentos dentro del espacio de la Unión Europea, en materia de protección de datos, se destacaron los desafíos ya vistos en la aplicabilidad e incorporación del Reglamento General de Protección de Datos (2016) así como la Propuesta de Reglamento de Inteligencia Artificial (2021) en curso en el Parlamento Europeo. Sobre el tema de la igualdad de trato y la no discriminación a nivel estatal, la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación, se han resaltado las disposiciones legales que pueden promover mayor protección de la ciudadanía en los servicios públicos como vemos en el Texto Refundido del Estatuto Básico del Empleado Público además de la Carta de Derechos Digitales de Gobierno de España. Desde la perspectiva autonómica, la Ley 1/2022, de 13 de abril, de la Generalitat, de Transparencia y Buen Gobierno de la Comunitat Valenciana. Los puntos centrales de este conjunto normativo de multinivel son la explicabilidad y transparencia en los proyectos que implican el uso de la inteligencia artificial. Además, ¿de qué modo afrontar la opacidad sobre las entidades y personas usuarias de los sistemas de inteligencia artificial en las administraciones públicas con el objetivo de generar mayor confianza y cumplimiento normativo? Por último y no menos importante, definir los tipos de control que la actuación de las administraciones públicas y sus autoridades merecen.

Digitapia

En el ámbito del debate sobre los algoritmos públicos abiertos y que no discriminen durante los días 25 y 26 de abril en la Universitat de València, los principales investigadores del proyecto Digitapia afrontan el primer desafío proponiendo de forma clara, práctica y consistente la necesidad de una normativa aplicada al uso de la inteligencia artificial en las administraciones públicas. Normas que sean capaces de mitigar y minimizar sesgos y errores, así como evitar algoritmos que discriminen durante el proceso de tomas de decisiones o actos administrativos semi o completamente automatizados.
 
La Dra. Clara Velasco, Dr. Agustí Cerrillo i Martínez, Dr. Juli Ponce Solé, Dr. Lorenzo Cotino Hueso y Dr. Rubén Martínez han hecho hincapié en definir cuales son los elementos esenciales en una futura normativa que incorpore el principio de transparencia, la interdicción de sesgos, la no discriminación y la protección de derechos y garantías fundamentales. Para tanto, lanzan las primeras preguntas sobre si el alcance de la propuesta será de carácter básico o no y si al uso de la inteligencia artificial también se añadirá una legislación de régimen local de datos con enfoque en la transparencia para la contratación pública.
 
Además, siguen los principales investigadores y coordinadores de la investigación, ¿sería este futuro ordenamiento jurídico de diferentes niveles de naturaleza puramente jurídica con principios, derechos y obligaciones? ¿O aportaría también un diseño de gobernanza y líneas de buenas prácticas para la implementación de los algoritmos en la Administración Pública? ¿Estaría orientado al análisis de riesgo, transparencia y publicidad cuya participación, aprobación y acceso a los algoritmos por parte de la ciudadanía y sociedad civil interesada entrarían como criterios de control? ¿Tendrá esta nueva y futura legislación a nivel estatal finalidades bien definidas para que la lógica de funcionamiento de la inteligencia artificial sirva a la necesidad de los ciudadanos sin promover discriminación o desprotección?
 
Aún sobre el empleo de tecnologías en las administraciones públicas, han señalado la indispensable formulación de criterios que aclaren de qué manera el acceso a los datos, sus diferentes formas de reutilización y, consecuentemente, su replicabilidad en diferentes plataformas ocurren. Es importante para una legislación sobre el uso de la inteligencia artificial la previsión de cómo hacer la gobernanza de informaciones sensibles referentes a ciudadanos certificándose constantemente de la calidad y la actualización de los bancos de datos.
 
Sobre los códigos fuentes generadores de actuaciones automatizadas y servicios digitales, concluyen que deberán ser pasibles de trazabilidad y explicabilidad para que los mecanismos de garantía y control sean posibles. Otro grande reto es el debate acerca de la reserva de humanidad, o sea, hasta qué punto el uso de la inteligencia artificial necesita supervisión humana. Certificación y auditabilidad ex ante y ex post, estudios de impacto, medidas de mitigación de riesgos y garantías de supervisión son otros temas a ser abordados en esta larga trayectoria de implementación y seguimiento del uso de la inteligencia artificial en el sector público para obtener como resultado algoritmos públicos abiertos y que no discriminen.

Para ver el programa completo del evento, haz click aquí.