David Bañeres: «La IA es una tecnología que debe ayudar a los profesores a hacer las cosas mejor»

David Bañeres es investigador del grupo Systems, Software and Models Research Lab (SOM Research Lab), del Internet Interdisciplinary Institute (IN3) de la UOC. Desde el año 2018 ha coliderado el proyecto Learning Intelligent System (LIS), un sistema de detección precoz de estudiantado en riesgo de suspender o abandonar, que combina un modelo predictivo, basado en algoritmos de inteligencia artificial, con mensajes automáticos personalizados para ayudar al estudiantado a revertir los casos de riesgo detectados. LIS se ha testado durante los últimos tres años en nueve asignaturas, y en él han participado un total de 5.277 alumnos. Entre los resultados más destacados se encuentra la mejora de una media del 5 % de la superación del curso, así como un incremento de las notas de los participantes, que han pasado de un 5,8 a un 7,6 de media. En esta entrevista, hablamos de los beneficios para estudiantes y docentes de esta innovadora tecnología y de la inevitable integración, «en un periodo corto de tiempo», de la IA en la educación.

¿Cómo surge este proyecto?

En la UOC tenemos una base de datos llamada Datamart donde tenemos almacenadas, de forma anónima, las trayectorias de los estudiantes en las asignaturas de grados y másteres, así como todas las acciones que estos llevan a cabo en el Campus Virtual. Con el objetivo de explorar estos datos, por su potencial para un uso docente, el eLearning Innovation Center (eLinC) abrió en 2018 la convocatoria New Goals y seleccionó el proyecto LIS. El proyecto LIS empezó explorando cómo las notas académicas de cada actividad, con algoritmos de inteligencia artificial, podían predecir qué estudiantes superaban la asignatura.

Llevamos a cabo una exploración inicial con datos de 979 asignaturas y encontramos que ya con la nota de la primera actividad, que se realiza aproximadamente a los 15 días de empezar la asignatura, podíamos predecir de media, con un 60 % de efectividad, si el estudiante no superaría el curso. Con las notas de más actividades, la información se va perfilando, de forma que a mitad de la asignatura se podía predecir con un 80 % de fiabilidad, y con la última actividad, con un 95 %. Con todo ello, pudimos concluir que podríamos ayudar al estudiantado ya desde la primera actividad.

¿Cómo ayuda el sistema a intervenir para prevenir el abandono?

El siguiente paso del proyecto fue plantear la mejor forma de dar esta información sobre el riesgo potencial de suspender al estudiantado. No podíamos transmitirla en crudo, porque podría ser una hoja de doble filo y desincentivar al alumnado. Así que lo que hemos hecho finalmente es convertir esta predicción en una representación visual en modo semáforo, con tres colores (rojo, naranja y verde), que indica el grado de riesgo de no superar.

Así, después de cada actividad, cada alumno tiene un semáforo y recibe unos mensajes personalizados según su nivel de riesgo. Además, el profesorado puede automatizar y personalizar estos mensajes para cada curso y actividad. También se pueden complementar con materiales, caminos de aprendizaje u otra información docente que puede ayudar al estudiantado a salir de esta situación de riesgo.

Otra característica de estos mensajes es que se envían en nombre del profesor colaborador, y esta personalización tiene un valor añadido para el estudiante. Por ejemplo, nos dimos cuenta de que, a partir de estos mensajes, los estudiantes más tímidos, que normalmente no interaccionan, a veces contestaban e iniciaban un diálogo inverso con el docente. De hecho, uno de los estudios piloto fue durante el semestre de la pandemia, y muchos de los estudiantes aprovechaban para contar sus problemas y vivencias personales al profesorado.

¿Cómo habéis usado la teoría de los nudges en la configuración de estas intervenciones?

Es un concepto que proviene de las ciencias y la economía del comportamiento y que se utiliza, por ejemplo, en el marketing. El significado de la palabra se traduciría como empujón, e implica diseñar mensajes con un refuerzo positivo y con sugerencias indirectas para influir en la toma de decisiones del estudiantado. Como comentaba antes, el objetivo es no desmoralizarlo y que no se desenganche. Por lo tanto, hay que transmitir una información que sea positiva y mire al futuro, marcando objetivos a corto plazo. Es verdad que puede llegar un momento en el que no haya forma de que el estudiante apruebe. Entonces, se le informa claramente, pero también se añaden indicaciones para que pueda mejorar durante el próximo semestre.

¿Cómo evolucionó el sistema después de esos primeros experimentos?

Inicialmente, el sistema únicamente tenía un modelo de predicción basado en la compleción del curso. Al iniciar una prueba de evaluación continua, al estudiante se le daba una predicción de qué nota mínima tendría que sacar en aquella actividad para poder finalizar el curso satisfactoriamente. Aunque esta predicción —visualizada en forma de semáforo— es muy útil para el estudiante, tiene algunas deficiencias. Primero, dependiendo del número de actividades que tenga una asignatura, limita el seguimiento del estudiante a solo ciertos puntos de control después de cada actividad. Si imaginamos una asignatura con tres actividades evaluables durante el semestre, el estudiante solo recibiría tres predicciones durante el curso, aproximadamente cada tres o cuatro semanas. Segundo, la intervención asociada a estos puntos de control puede no ser efectiva cuando llegue la siguiente predicción, ya que podría ser que el estudiante hubiera abandonado durante ese periodo.

De este modo, lo que añadimos es un segundo modelo, que aporta una mejora sustancial del seguimiento realizando una evaluación del posible abandono del estudiante entre las pruebas de evaluación continua. En vez de intentar predecir si un estudiante deja de acceder a la asignatura, que es una posible definición de abandono, lo que hace el modelo es generar una predicción diaria de si el alumno entregará la siguiente actividad, puesto que, si no la entrega, probablemente pueda ser un abandono potencial a corto plazo. Esta predicción se basa en la actividad diaria del estudiante en el aula virtual. Pese a ello, descubrimos que es posible que, según la actividad desarrollada, los alumnos accedan de forma discontinua a la asignatura y generen, así, falsos positivos. Por lo tanto, el sistema calcula una ventana temporal del riesgo de abandono que se define como los días consecutivos que se permite a un estudiante estar desconectado del aula virtual antes de entrar en riesgo. Esta ventana se calcula para cada asignatura y para cada actividad que tiene en cuenta las características y la temporalidad en días de la actividad. En caso de estar en un nivel de riesgo alto de abandono, se genera una intervención en forma de mensaje para avisar al estudiante y, así, intentar evitar que deje la asignatura durante el semestre.

¿Y cómo ayuda el sistema LIS al profesorado?

El sistema cuenta con distintos cuadros de control en los que muestra la información en distintas capas. Por un lado, tiene una capa predictiva que transmite al profesorado esta detección precoz del riesgo y que permite ayudar a los estudiantes en tiempo real. Y, por otro lado, también tiene una capa analítica que aporta mucha información sobre los estudiantes y que informa, por ejemplo, de qué caminos llevan al abandono en la asignatura o si una situación de riesgo es un patrón repetitivo cada semestre o si es una nueva situación de riesgo no detectada hasta ese momento.

Esta información puede ser muy valiosa para el docente en el diseño de la asignatura, que es también un momento muy relevante para evitar el abandono. Por ejemplo, si se detecta que un 90 % de los estudiantes que no presentan la primera actividad está en riesgo de suspender, el sistema te está diciendo que, si pudieras hacer algo para que superaran este punto, podrías ayudar a dicho grupo de alumnos. Si como profesor eres capaz de explotar esta información antes de empezar el curso, podrías solucionar algunas situaciones similares que tienen lugar durante el propio curso. Es decir, la capa predictiva del nivel riesgo te permite ayudar a los estudiantes en tiempo real, pero la capa analítica te podría ayudar a hacer un mejor diseño tanto de actividades como de contenidos.

Una de las críticas a este tipo de sistemas es que podrían llegar a sustituir a los docentes…

Tal y como se diseñó el sistema, es una herramienta de apoyo, no de sustitución. Lo que hace es complementar, ayudar y minimizar el trabajo de seguimiento del riesgo durante el curso, una tarea que habitualmente consume mucho tiempo. En la UOC tenemos actualmente asignaturas con más de un millar de estudiantes por semestre. Aunque nuestro modelo nos permite hacer un seguimiento más personalizado con aulas de 60-70 estudiantes, es muy complicado hacer ese seguimiento individualizado y poder dar feedback a todo el estudiantado.

Adicionalmente, aunque el sistema puede enviar mensajes genéricos de intervención, para que sea realmente útil para el estudiantado hay que enriquecerlos con la experiencia del profesorado. El profesorado es el único que conoce, basándose en su experiencia, qué necesita realmente el estudiante para seguir una asignatura de forma satisfactoria. Por lo tanto, esta simbiosis entre la detección automática y la experiencia del profesorado hace que el sistema LIS sea más efectivo.

De hecho, el profesorado tiene que configurar el sistema al inicio de la asignatura, ya que puede funcionar de manera manual o automática. También puede configurar los mensajes que quiere enviar, e incluso se pueden obviar los mensajes de una actividad en concreto. Por lo tanto, esta personalización hace que el sistema esté en manos del profesorado, según la utilidad que los docentes le quieran dar.

¿Cuál ha sido la recepción del sistema entre los estudiantes y los profesores?

Los estudiantes que participaron en los pilotos opinaron que el sistema era muy positivo como herramienta de apoyo y, también, de personalización del aprendizaje. Por parte del profesorado, encontramos alguna pequeña reticencia en el envío automático de mensajes con su nombre o sobre la configuración inicial, pero, una vez lo habían hecho, se daban cuenta del valor añadido al ver un retorno en tiempo y en eficiencia. De hecho, generalmente lo que vimos es que durante el primer semestre había un trabajo importante de configuración; en el segundo semestre, de análisis y refinamiento, porque los profesores van aprendiendo a utilizar el sistema y, al final, los cambios que tienen que hacer son mínimos. También el análisis de los resultados y la posibilidad de generar informes sencillos están muy bien valorados, porque explican cómo van las asignaturas en cuanto a rendimiento.

Recientemente habéis iniciado un proyecto para la Oficina Europea de Patentes (EPO) que es una extensión del LIS. ¿Qué novedades habéis incorporado y cuáles son los planes futuros?

El modelo de la Oficina Europea de Patentes es un modelo de aprendizaje self-paced, muy utilizado en los cursos tipo MOOC (acrónimo en inglés de massive online open courses, o cursos en línea masivos y abiertos), en los que te matriculas cuando quieres y estudias cuando quieres. Entonces, el sistema de seguimiento del alumnado que se utiliza en el modelo de aprendizaje de la UOC no es aplicable. Estamos explorando modelos de supervivencia —que normalmente se usan en otros ámbitos, como por ejemplo en ensayos clínicos, para modelizar los años de supervivencia de enfermos de cáncer—, con el objetivo de predecir cuánto tiempo estarán en un curso los alumnos antes de completarlo o abandonarlo. También estamos trabajando en un modelo de recomendación de actividades que recomienda al estudiante la siguiente actividad que tendría que realizar según su camino de aprendizaje. Por otro lado, en la UOC estamos trabajando para integrar el sistema LIS con el nuevo sistema de gestión del aprendizaje de Canvas.

¿Cómo mejora el sistema LIS los que existen en la actualidad?

El primer sistema de detección precoz de este tipo se desarrolló en la Universidad de Purdue en 2008. Sin embargo, normalmente son sistemas privados, ya que cada institución los diseña adaptados a sus necesidades. En lo que respecta a investigación, se está trabajando mucho actualmente, pero la capa de intervención no está muy explorada al quedarse la mayoría en la capa de predicción. Por ejemplo, el sistema de gestión de aprendizaje Moodle también tiene una capa predictiva, pero es muy limitada, ya que te permite hacer una predicción cada semana y el envío de mensajes de forma manual.

Una ventaja de nuestro sistema es que se trata de un sistema independiente de la tecnología de gestión del aprendizaje y que se adapta a la fuente de datos. Por ejemplo, con el EPO, su fuente de datos es un Moodle y simplemente estamos adaptando LIS a sus datos, donde la capa de visualización y análisis será muy parecida.

La inteligencia artificial ha sido clave en el desarrollo de este sistema. ¿Cómo ves la introducción de la IA en la educación?

La inteligencia artificial, como en otros muchos modelos de negocio, se acabará introduciendo en todas partes. Hay otros sectores, como el bancario o las tiendas online, donde ya tienen modelos de recomendación de productos porque ya saben lo que hacemos cada día. Así pues, en la educación pasará lo mismo. Veo muy difícil que nos quedemos fuera de todo esto, que acabará integrado de un modo u otro en un corto periodo de tiempo.

En la educación tenemos otros retos vinculados a las herramientas de IA generativas y su utilización por parte del profesorado y del alumnado. Vienen, en este ámbito, unos tiempos de deliberación y adaptación con los que, como profesores, tendremos que aprender a convivir.  Yo me quedaría con el mensaje: «La inteligencia artificial viene a ayudarnos y es una tecnología que debe ayudarnos a hacer las cosas mejor». Otra cuestión, que podrá discutirse, es el mal uso de ella que podamos hacer las personas.