David Bañeres: “La IA és una tecnologia que ha d’ajudar als professors a fer les coses millor”

David Bañeres és investigador del grup Systems, Software and Models Research Lab (SOM Research Lab), de l’Internet Interdisciplinary Institute (IN3) de la UOC. Des de 2018, ha co-liderat el projecte Learning Intellignet System (LIS), un sistema de detecció precoç d’estudiantat en risc de suspendre o abandonar, que combina un model predictiu, basat en algoritmes d’intel·ligència artificial, amb missatges automàtics personalitzats per ajudar a l’estudiantat a revertir els casos de risc detectats. LIS s’ha testat durant els darrers tres anys en nou assignatures, involucrant un total de 5.277 alumnes. Entre els resultats més destacats, ha aconseguit millorar una mitja del 5% la superació del curs, així com un increment de les notes dels participants, passant des d’un 5,8 a un 7,6, de mitja. En aquesta entrevista, parlem dels beneficis per a estudiants i professors d’aquesta innovadora tecnologia i de la inevitable integració “en un període curt de temps” de la IA en l’educació.

Com sorgeix aquest projecte?

A la UOC tenim una base de dades anomenada datamart, on tenim emmagatzemades de forma anònima la trajectòria dels estudiants a les assignatures de graus i màsters, així com totes les accions que aquests fan al Campus Virtual. Amb l’objectiu d’explorar aquestes dades pel seu potencial per a un ús docent, L’eLearning Innovation Center (eLinC) va obrir el 2018 la convocatòria New Goals i va seleccionar el projecte LIS. El projecte LIS va començar explorant com les notes acadèmiques de cada activitat amb algoritmes d’intel·ligència artificial podien predir quins estudiants superaven l’assignatura.

Vam fer una exploració inicial amb dades de 979 assignatures i vam trobar que ja amb la nota de la primera activitat, que es fa aproximadament als 15 dies de començar l’assignatura, podíem predir de mitja amb un 60% d’efectivitat si l’estudiant no superaria el curs. Amb les notes de més activitats, la informació es va perfilant, de manera que a la meitat de l’assignatura es podia predir amb 80% de fiabilitat i amb l’última activitat amb un 95%. Amb tot això, vam poder concloure que podríem ajudar a l’estudiantat ja des de la primera activitat.

Com ajuda el sistema a intervenir per prevenir l’abandonament?

El següent pas del projecte va ser plantejar la millor manera de donar aquesta informació sobre el risc potencial de suspendre a l’estudiantat. No podíem transmetre-la en cru perquè podria ser una fulla de doble fill i desincentivar a l’alumat. Així que el que finalment hem fet és convertir aquesta predicció en una representació visual en mode semàfor amb tres colors (vermell, taronja i verd) que indica el grau de risc de no superar.

Així, després de cada activitat cada alumne té un semàfor i rep uns missatges personalitzats segons el seu nivell de risc. A més, el professorat pot automatitzar i personalitzar aquests missatges per a cada curs i activitat. També es poden complementar amb materials, camins d’aprenentatge o altra informació docent que pot ajudar l’estudiantat a sortir d’aquesta situació de risc.

Una altra característica d’aquests missatges és que s’envien en nom del professor col·laborador i aquesta personalització té un valor afegit per a l’estudiant. Per exemple, ens vam adonar que a partir d’aquests missatges els estudiants més tímids, que normalment no interaccionen, a vegades contestaven i iniciaven un diàleg invers amb el professor. De fet, un dels estudis pilots va ser durant el semestre de la pandèmia i molts dels estudiants aprofitaven per explicar els seus problemes i vivències personals al professorat.

Com heu fet servir la teoria dels nudges en la configuració d’aquestes intervencions? 

És un concepte que prové de les ciències i economia del comportament que s’utilitza, per exemple, en el màrqueting. El significat de la paraula es traduiria com una empenta i implica dissenyar missatges amb un reforç  positiu i amb suggeriments indirectes per influir en la presa de decisions de l’estudiantat. Com comentava abans, l’objectiu és no desmoralitzar-lo i que no es desenganxi. Per tant, s’ha de transmetre una informació que sigui positiva i miri al futur, marcant objectius a curt termini. És veritat que pot arribar un moment en què no hi ha forma que l’estudiant aprovi, llavors se l’informa clarament, però, també s’afegeixen indicacions perquè puguin millorar durant el pròxim semestre.

Com va evolucionar el sistema després d’aquests primers experiments?

Inicialment, el sistema únicament tenia un model de predicció basat en compleció del curs. A l’iniciar una prova d’avaluació continua, a l’estudiant se li donava una predicció de quina nota mínima hauria de treure en aquella activitat per tal de poder finalitzar el curs satisfactòriament. Encara que aquesta predicció – visualitzada en forma de semàfor – és molt útil per a l’estudiant, té algunes deficiències. Primer, depenent del nombre d’activitats que tingui una assignatura, limita el seguiment de l’estudiant a només certs punts de control després de cada activitat. Si imaginem una assignatura amb tres activitats avaluables durant el semestre, això significaria que l’estudiant només rebria tres prediccions durant el curs, aproximadament cada tres o quatres setmanes. Segon, la intervenció associada a aquests punts de control pot no ser efectiva quan arribi la següent predicció, ja que podria ser que l’estudiant hagués abandonat durant aquest període.

D’aquesta manera, el que vam afegir és un segon model, que aporta una millora substancial del seguiment realitzant una avaluació del possible abandonament de l’estudiant entre les proves d’avaluació continua. En comptes d’intentar predir si un estudiant deixa d’accedir a l’assignatura, que és una possible definició d’abandonament, el model el que fa és generar una predicció diària de si l’alumne lliurarà la següent activitat, ja que si no la lliura probablement pugui ser un abandonament potencial a curt termini. Aquesta predicció es basa en l’activitat diària de l’estudiant a l’aula virtual. Tot i això, vam descobrir que és possible que segons l’activitat desenvolupada, els alumnes accedeixin de forma discontinua a l’assignatura, generant falsos positius. Per tant, el sistema calcula una finestra temporal del risc d’abandonament que es defineix com els dies consecutius que es permet a un estudiant estar desconnectat de l’aula virtual abans d’entrar en risc.  Aquest finestra es calcula per cada assignatura i per cada activitat que té en compte les característiques i la temporalitat en dies de l’activitat. En cas d’estar en un nivell de risc alt d’abandonament, es genera una intervenció en forma de missatge per avisar a l’estudiant i així intentar evitar que deixi l’assignatura durant el semestre.

I com ajuda el sistema LIS al professorat?

El sistema té diferents quadres de control on mostra la informació en diferents capes. D’una banda, té una capa predictiva que transmet al professorat aquesta detecció precoç del risc i que permet ajudar als estudiants en temps real.  I, d’altra banda, també té una capa analítica que aporta molta informació sobre els estudiants i que informa, per exemple, de quins camins porten a l’abandonament en l’assignatura o si una situació de risc es un patró repetitiu cada semestre o si és una nova situació de risc no detectada fins aquest moment.

Aquesta informació pot ser molt valuosa per al docent en el disseny de l’assignatura, que és també un moment molt rellevant per evitar l’abandonament. Per exemple, si es detecta que un 90% dels estudiants que no presenten la primera activitat estan en risc de suspendre, el sistema t’està dient que si poguessis fer alguna cosa per a què superessin aquest punt, podries ajudar a aquest grup d’alumnes. Si com a professor ets capaç d’explotar aquesta informació abans de començar el curs, podries solucionar algunes situacions similars que tenen lloc durant el curs. És a dir, la capa predictiva del nivell risc et permet ajudar als estudiants en temps real, però la capa analítica, et podria ajudar a fer un millor disseny tant d’activitats com continguts.

Una de les crítiques a aquest tipus de sistemes és que podria arribar a substituir als professors…

Tal i com es va dissenyar el sistema, és una eina de suport, no de substitució. El que fa és complementar, ajudar i minimitzar la feina de seguiment del risc durant el curs, una tasca que habitualment consumeix molt de temps. A  la UOC tenim actualment assignatures amb més d’un miler d’estudiants per semestre. Encara que el nostre model ens permet fer un seguiment més personalitzat amb aules de 60-70 estudiants,  és molt complicat fer aquest seguiment individualitzat i poder donar feedback a tot l’estudiantat.

Addicionalment, encara que el sistema pot enviar missatge genèrics d’intervenció, perquè sigui realment útil per l’estudiantat, es necessiten enriquir amb l’experiència del professorat. El professorat és l´únic que coneix, en base a la seva experiència, què necessita realment l’estudiant per seguir una assignatura de forma satisfactòria. Per tant, aquesta simbiosis entre la detecció automàtica i l’experiència del professorat fa que el sistema LIS sigui més efectiu.

De fet, el professorat ha de configurar el sistema a l’inici de l’assignatura, ja que pot funcionar de manera manual o automàtica. També pot configurar els missatges que vol enviar i inclús es pot obviar els missatges d’una activitat en concret. Per tant, aquesta personalització fa que el sistema estigui a les mans del professorat segons la utilitat que li vulgui donar.

Quina ha estat la recepció dels sistema entre els estudiants i els professors?

Els estudiants que van participar en els pilots van trobar que el sistema era molt positiu com a eina de suport i també de personalització de l’aprenentatge.  Pel professorat, hi vam trobar alguna petita reticència en l’enviament automàtic de missatges amb el seu nom o sobre la configuració inicial, però una vegada ho havien fet, s’adonaven del valor afegit, perquè veien un retorn en temps i en eficiència. De fet, generalment el que vam veure és que durant el primer semestre hi havia una feina important de configuració; el segon semestre, d’anàlisi i refinament, perquè els professors van aprenent a utilitzar el sistema, i al final, els canvis que han de fer són mínims. També l’anàlisi dels resultats i la possibilitat de generar informes senzills està molt ben valorada perquè explica com van les assignatures a nivell de rendiment.

Recentment, heu començat un projecte per a l’Oficina Europea de Patents (EPO) que és una extensió del LIS. Quines novetats heu incorporat i quins són els plans futurs?

El model de l’Oficina Europea de Patents és un model d’aprenentatge self-paced, molt utilitzat als cursos tipus MOOC (acrònim en anglès de Massive Online Open Courses o Cursos online massius i oberts), on et matricules quan vols i estudies quan vols. Aleshores, el sistema de seguiment de l’alumnat utilitzat en el model d’aprenentatge de la UOC no és aplicable. Estem explorant models de supervivència – que normalment es fan servir en altres àmbits com per exemple en assajos clínics per modelitzar els anys de supervivència de malalts de càncer -, amb l’objectiu de predir quan de temps els alumnes estaran en un curs abans de completar-lo o abandonar-lo. També estem treballant en un model de recomanació d’activitats que recomana a l’estudiant la següent activitat que hauria de fer segons el seu camí d’aprenentatge. D’altra banda, a la UOC estem treballant per integrar el sistema LIS amb el nou sistema de gestió de l’aprenentatge de Canvas.

Com millora el sistema LIS els que hi ha en l’actualitat?

El primer sistema de detecció precoç d’aquest tipus es va desenvolupar a la Universitat de Purdue l’any 2008. No obstant això, normalment són sistemes privats, ja que cada institució els dissenya adaptats a les seves necessites. A nivell d’investigació s’està treballant molt actualment, però la capa d’intervenció no està gaire explorada, ja que la majoria es queda en la capa de predicció. Per exemple, el sistema de gestió d’aprenentatge Moodle també té una capa predictiva, però és molt limitada, ja que et permet fer una predicció cada setmana i enviament de missatges de forma manual.

Un avantatge del nostre sistema és que es tracta d’un sistema independent de la tecnologia de gestió de l’aprenentatge i que s’adapta a la font de dades. Per exemple, amb l’EPO la seva font de dades és un Moodle i simplement estem adaptant LIS a les seves dades, on la capa de visualització i anàlisis serà molt semblant.

La intel·ligència artificial ha estat clau en el desenvolupament d’aquest sistema. Com veus la introducció de la IA en l’educació?

La intel·ligència artificial, com en molts altres models de negoci, s’acabarà introduint a tot arreu. Hi ha altres sectors, com el bancari o les botigues online, on ja tenen models de recomanació de productes perquè ja saben el que fem cada dia. Per tant, a l’educació passarà el mateix. Veig molt difícil que ens quedem fora d’això i acabarà integrat d’una forma o una altra en un període curt de temps.

En l’educació tenim altres reptes lligats a les eines d’IA generatives i la seva utilització per part del professorat i de l’alumnat. En aquest àmbit venen uns temps de deliberació i adaptació que com a professors haurem d’aprendre a conviure.  Jo em quedaria amb el missatge “la intel·ligència artificial ve a ajudar-nos i és una tecnologia que ens ha d’ajudar a fer les coses millor”. Una altra qüestió a discutir serà el mal ús que en puguem fer les persones.