La millora de l’avaluació en línia a través de la pedagogia i el compromís ètic de les dades

9 setembre, 2022
Foto per Katerina Holmes en Pexels foto-por-katerina-holmes-at-pexels

Les restriccions sanitàries han revolucionat la manera com l’estudiantat assisteix a les classes, estudia i es comunica i interacciona amb el professorat. De manera similar, l’avaluació ha passat a un nou estadi.

 

Tot i que, en el cas de les institucions que funcionen completament en línia, aquesta qüestió ja estava sobre la taula, l’avaluació a distància per mitjans electrònics no era precisament el principal problema de les institucions educatives. Des del confinament, les seves repercussions en matèria de procediment i els dilemes ètics que ha generat han estat un tema de debat.

 

Les claus de l’avaluació en línia

L’avaluació, com a part integral del sistema d’ensenyament i aprenentatge, és el procés de recopilació, descripció o quantificació d’informació sobre el rendiment de l’alumne, els principis del qual romanen invariables en un entorn d’aprenentatge en línia. En aquest entorn, el canvi continua sent la manera d’aplicar aquests principis respecte d’un entorn d’aprenentatge tradicional (Rovai, 2000). No obstant això, per deixar les coses clares, què entenem per avaluació en línia? La definició d’avaluació en línia del JISC (2007) reconeix que es tracta d’un terme ampli que abasta tota una sèrie d’activitats en les quals s’utilitzen tecnologies digitals per a l’avaluació. Aquestes activitats inclouen el disseny i la presentació de les avaluacions, les qualificacions —mitjançant ordinadors o persones amb ajuda d’escàners i eines en línia— i tots els processos d’informació, emmagatzematge i transferència de dades associats a les avaluacions públiques i internes. 

 

Les universitats presencials no havien abordat mai un repte d’avaluació en línia de tant d’abast, malgrat que, en certa manera, les institucions en línia ja s’enfrontaven a alguns d’aquests desafiaments. A causa de la situació derivada de la COVID-19, les institucions educatives es van veure forçades a canviar a l’avaluació en línia i van haver de bregar amb certs obstacles pedagògics i tecnològics. En consultar la documentació existent sobre la qüestió de l’avaluació en línia en aquest context de crisi, hi ha una cosa que és clara: tant el cos docent com l’estudiantat han de col·laborar per donar una resposta que conjugui les decisions metodològiques i tecnològiques i, al mateix temps, garanteixi l’equanimitat, la seguretat jurídica i la transparència per a totes les parts interessades internes i externes (García-Peñalvo et al., 2020).

 

Les dades com a font d’informació de qualitat

Quan s’utilitza l’avaluació en línia de manera formativa, les tecnologies de la informació i la comunicació (TIC) serveixen per fonamentar el procés iteratiu de recopilació i anàlisi d’informació sobre el curs de l’aprenentatge per part dels professors i també dels alumnes, amb la finalitat d’avaluar els resultats relacionats amb els assoliments anteriors i la consecució dels resultats d’aprenentatge previstos i no previstos (Nikolova, 2012). En aquest sentit, l’avaluació en línia ha evolucionat de manera significativa a partir de l’enfocament en analítiques d’aprenentatge (learning analytics). Palmiero i Cecconi (2019) se centren en les dades obtingudes a l’entorn de l’aprenentatge digital. De fet, les proves informatitzades permeten recollir informació que no podria recuperar-se si la prova fos en format paper. Els arxius anomenats LOG revelen diferents estils cognitius i enfocaments de les tasques. L’enfocament es desplaça del resultat final al procés que determina aquest resultat. Des d’aquesta perspectiva, l’ús d’aquesta informació, coneguda com a documentació de dades del procés, marca la frontera entre l’avaluació formativa i la sumativa i dona lloc a una nova forma d’avaluació digital. 

 

La percepció de l’estudiantat 

Durant la pandèmia, els entorns digitals s’han convertit en els més utilitzats per als estudis i, posteriorment, per a l’avaluació. L’eficàcia de la integració entre la tecnologia i l’avaluació sembla acostar els estudiants al procés d’avaluació (que se sol percebre com a hostil) gràcies a la seva familiaritat amb les eines digitals (Nirchi, 2021). Ranieri i Nardi (2018) exploren les potencialitats i les limitacions de les proves assistides per ordinador (CBT), en comparació de les proves tradicionals en paper (PBT), en un estudi dut a terme a la Universitat de Florència. L’objectiu és comprovar si un sistema d’avaluació en línia pot convertir-se en una alternativa adequada a les PBT, en quina mesura ho és i si pot permetre que el procés d’avaluació es gestioni de manera més eficient, sobretot en les extenses classes d’educació superior. Tres-cents setanta-dos participants que van provar les CBT també van respondre un qüestionari sobre les seves percepcions, preferències i grau de satisfacció. Els resultats mostren que els estudiants responien de manera molt positiva al sistema digital, sobretot pel fet que ofereix la possibilitat d’obtenir un retorn immediat

 

No obstant això, han sorgit algunes qüestions importants relacionades amb la lectura en pantalla; de fet, alguns estudiants temen no poder llegir tot el document per la funció de desplaçament (scrolling), cosa que podria constituir un obstacle per obtenir una bona visió de la prova. Un disseny acurat de les eines per a les proves pot salvar aquesta dificultat. En el terreny emocional, alguns estudiants van patir atacs de pànic durant els exàmens en línia a causa de la seva incapacitat per gestionar els problemes provocats per la xarxa o la tecnologia en general. A Itàlia, alguns diaris també van informar de diversos casos similars en escoles i universitats, en les quals alguns estudiants no van poder ser avaluats perquè van sofrir episodis de pànic que van incidir negativament en el seu rendiment (Palma, 2020). 

 

Es pot evitar la pràctica de copiar en les proves en línia? 

A causa de l’increment de l’aprenentatge a distància, les facultats i universitats han invertit en la prevenció de les males pràctiques en l’avaluació. Amb la finalitat d’evitar les pràctiques acadèmiques fraudulentes, algunes d’aquestes institucions han posat en marxa sistemes com la vigilància amb càmera web, els patrons biomètrics i els serveis de supervisió de tercers, que poden semblar invasius. Els analitzarem en el punt següent de l’article, però primer revisarem dues metodologies basades en la recerca per prevenir aquesta mala pràctica

 

Diversos investigadors del Rensselaer Polytechnic Institute de Troy (Nova York) han treballat en un mètode per impedir que es facin trampes en els exàmens amb una estratègia centrada en la connivència entre els estudiants. Aquest mètode consisteix en el senzill procés de retardar jeràrquicament les preguntes d’examen als estudiants en funció del seu grau de competència, de manera que els estudiants més avantatjats fan els exàmens després dels altres, si bé tots ells disposen d’un període de temps establert per respondre a les preguntes (Burt, 2021).

 

La Dra. Tricia Bertram Gallant (Universitat de Califòrnia) i el Dr. Jason M. Stephens (Universitat d’Auckland) argumenten en una publicació (Gallant i Stephens, 2020) que les facultats i les universitats tenen l’obligació ètica de respondre al problema de la còpia a fi d’afavorir el desenvolupament cívic i moral dels estudiants, i recomanen a les universitats que s’allunyin dels sistemes punitius i adoptin un enfocament basat en el desenvolupament quan responguin a la qüestió de la còpia, per treballar així des d’una perspectiva preventiva.

 

 

Els dilemes ètics en l’ús dels sistemes de supervisió

La pandèmia ha accelerat l’ús de sistemes de supervisió, especialment als EUA i a Europa. Aquest programari, basat en la intel·ligència artificial, verifica l’ordinador de l’estudiant durant un examen en línia i també n’obté moltes dades personals, la qual cosa li permet esbrinar si els alumnes fan trampes. Altres mètodes també intenten comprovar la identitat de l’estudiant que s’està examinant. 

 

En general, els sistemes de supervisió funcionen de la mateixa manera: els estudiants es connecten a una pàgina privada del lloc web de la universitat, accedeixen a l’apartat de l’examen i comencen una espècie de comprovació preliminar que els fa, entre altres coses, mostrar tota la sala, provar el micròfon i ensenyar el document d’identitat. Posteriorment, comença el qüestionari pròpiament dit; la càmera controla qualsevol moviment sospitós i el marca o destaca perquè el professor pugui revisar aquest moment concret i esbrinar si realment l’estudiant estava copiant o no. La identificació té lloc mitjançant la càmera web i el micròfon, en cas de sorolls o veus sospitosos. Es presta una atenció màxima als moviments corporals, a la mirada de l’estudiant i a tota l’activitat amb el ratolí o el tauler tàctil, el teclat i la pantalla. 

 

Amb els sistemes de supervisió en línia, els principals problemes que cal destacar són dos: el tractament de les dades personals i el conflicte d’interessos amb el programari. Encara que la supervisió s’utilitza per evitar que els estudiants copiïn en els exàmens, hi ha una gran preocupació pel tractament invasiu de dades, el risc de pèrdua de dades i les obligacions de consentiment, entre d’altres, que han provocat que alguns alumnes es rebel·lin contra aquest sistema. Per exemple, a Itàlia, la Universitat de Bocconi ha estat multada amb 200.000 euros per utilitzar un sistema de supervisió (Dimalta, 2021).

 

Mentre es resolen aquestes qüestions legals sobre protecció de dades, algunes institucions s’han decantat per opcions alternatives. A la University of the People, encara que alguns estudiants trien fer els exàmens amb el sistema de ProctorU, previ pagament d’una taxa, poden superar un examen final amb una opció alternativa presencial mitjançant el procediment següent: envien l’examen a un supervisor que els mateixos alumnes han triat (d’acord amb un determinat reglament i sense cap cost); a continuació, s’identifiquen davant d’aquesta persona i, finalment, fan l’examen sota la vigilància d’aquest supervisor (UoP, 2022). 

 

 

Conclusions

La digitalització forçada per la situació de la pandèmia no pot ser l’únic motiu per a la transformació digital de les formes d’avaluació de les universitats i escoles. Tant els mitjans electrònics com les característiques de la societat estan evolucionant, i les institucions educatives han de continuar aprofundint en les lliçons apreses. A banda de les primeres mesures d’adaptació ràpides, hi ha d’haver una feina tecnològica i pedagògica real i profunda darrere d’aquesta evolució de les formes tradicionals d’avaluació. L’avaluació virtual ha d’estar reforçada pel disseny instruccional i la pedagogia, els principis ètics, les lleis de protecció de dades i la conjunció amb altres tipus de proves fetes a mitjan curs i el retorn entre l’estudiant i el professor. Pel que fa a la resposta de l’estudiantat, encara que no sabem què passarà en el futur, és d’esperar que la pràctica i el suport institucional facin que senti més confiança en els recursos electrònics

 

 

Bibliografia

Burt, C. (1 de marzo de 2021). RPI researchers reveal a new method to reduce deception. University Business. Disponible en: https://universitybusiness.com/rpi-researchers-uncover-new-method-to-reduce-cheating/ 

 

Dimalta, D. (30 de septiembre de 2021). Controllo remoto degli studenti, vizio di tanti: il Garante non sanzioni solo Bocconi. Agenda Digitale: Network Digital 360. Disponible en: https://www.agendadigitale.eu/sicurezza/privacy/controllo-remoto-degli-studenti-tanti-peccano-il-garante-non-sanzioni-solo-bocconi/ 

 

Gallant, T.B., Stephens, J.M. (2020). Punishment Is Not Enough: The Moral Imperative of Responding to Cheating With a Developmental Approach. Journal of College and Character, 21:2, 57-66, DOI: 10.1080/2194587X.2020.1741395. Disponible en: https://www.tandfonline.com/doi/abs/10.1080/2194587X.2020.1741395?journalCode=ujcc20 

 

García-Peñalvo, F. J., Corell, A., Abella-García, V., Grande, M. (2020). Online assessment in higher education at the time of COVID-19. Education in the Knowledge Society, 21 https://doi.org/10.14201/eks.23086. Disponible en: https://revistas.usal.es/index.php/eks/article/view/eks20202112 

 

JISC. (2007). Effective practice with e-assessment. HEFCE. Disponible en: http://www.jisc.ac.uk/media/documents/theme 

 

Nikolova, M. (2012). Characteristics and Forms of the Electronic Assessment of the Knowledge – Proceedings, Русе Volumen 51, libro 6.1, Mathematics, Informatics and Physics, Ruse, 2012, (93-98), ISSN 1311-3321. Disponible en: https://conf.uni-ruse.bg/bg/docs/cp12/6.2/6.2-15.pdf 

 

Nirchi, S. (2021). La valutazione dei e nei sistemi formative e-learning. Roma: Roma TrE-Press. Disponible en: https://romatrepress.uniroma3.it/libro/la-valutazione-dei-e-nei-sistemi-formativi-e-learning/ 

 

Palma, E. (28 de abril de 2020). Esami universitari online, tra incertezze, paure e ansie degli studenti: “Preoccupano possibili problemi di rete”. New Sicilia. Disponible en: https://newsicilia.it/agrigento/cronaca/esami-universitari-online-tra-incertezze-paure-e-ansie-degli-studenti-preoccupano-possibili-problemi-di-rete/551050 

 

Palmiero, C., Cecconi, L. (2019). Use of Learning Analytics in formative and summative evaluation. Journal of E-Learning and Knowledge Society, 15(3), 89-99. https://doi.org/10.20368/1971-8829/1135019. Disponible en: https://www.je-lks.org/ojs/index.php/Je-LKS_EN/article/view/1135019 

 

Rovai, A. P. (2000). Online and traditional assessments: what is the difference?. The Internet and Higher Education, Volumen 3, n.º 3, p. 141-151. https://doi.org/10.1016/S1096-7516(01)00028-8. Disponible en: https://www.sciencedirect.com/science/article/pii/S1096751601000288 

 

Ranieri, M., Nardi, A. (2018). Su carta o sullo schermo? Studio sulle percezioni delle verifiche digitali in ambito universitario. Italian Journal of Educational Technology, 26(3), 56-70. 

https://doi.org/10.17471/2499-4324/1011. Disponible en: https://ijet.itd.cnr.it/article/view/1011

 

University of the People (2022). Proctored exams. Disponible en: https://catalog.uopeople.edu/ug_term1_item/academic-regulations/proctored-exams 






(Visited 35 times, 1 visits today)
Autors / Autores
Especialista en innovació educativa dins el Grup Operatiu Generació i Transferència de coneixement de l'eLearning Innovation Center de la Universitat Oberta de Catalunya. Duu a terme tasques de detecció i anàlisi de tendències educatives, innovació i tecnologia, curació de continguts, comunicació i observació. Té una llicenciatura i un màster en Història de l'Art de la Universitat de Barcelona i un Postgrau de Direcció i Gestió de l'e-learning de la UOC. Està especialitzada en relacions internacionals i observació educativa i tecnològica.
Graduada en Literatura moderna (1995) i en estudis d'Informació i Biblioteconomia (1999).Actualment, està cursant el tercer any d'Educació Digital a la Universitat de Mòdena i Reggio de l'Emília i està fent pràctiques d'Erasmus a la UOC. És professora titular d'Humanitats en secundària. Va treballar de bibliotecària durant deu anys. Creu ferventment en la formació al llarg de la vida.