La mejora de la evaluación en línea a través de la pedagogía y el compromiso ético de los datos

Las restricciones sanitarias han revolucionado la forma en que el estudiantado asiste a las clases, estudia y se comunica e interactúa con el profesorado. De manera similar, la evaluación ha pasado a un nuevo estadio.

A pesar de que, en el caso de las instituciones que funcionan completamente en línea, esta cuestión ya estaba sobre la mesa, la evaluación a distancia por medios electrónicos no era precisamente el principal problema de las instituciones educativas. Desde el confinamiento, sus repercusiones en materia de procedimiento y los dilemas éticos que ha generado han sido un tema de debate.

Las claves de la evaluación en línea

La evaluación, como parte integral del sistema de enseñanza y aprendizaje, es el proceso de recopilación, descripción o cuantificación de información sobre el rendimiento del alumno cuyos principios permanecen invariables en un entorno de aprendizaje en línea. En este entorno, el cambio sigue siendo la forma de aplicar dichos principios frente a un entorno de aprendizaje tradicional (Rovai, 2000). Sin embargo, para dejar las cosas claras, ¿qué entendemos por evaluación en línea? La definición de evaluación línea del JISC (2007) reconoce que se trata de un término amplio que abarca toda una serie de actividades en las que se utilizan tecnologías digitales para la evaluación. Estas actividades incluyen el diseño y la presentación de las evaluaciones, las calificaciones —mediante ordenadores o personas con ayuda de escáneres y herramientas en línea— y todos los procesos de información, almacenamiento y transferencia de datos asociados a las evaluaciones públicas e internas. 

Las universidades presenciales nunca habían abordado un reto de evaluación en línea de tanto alcance, a pesar de que, en cierto modo, las instituciones en línea ya se enfrentaban a algunos de estos desafíos. Debido a la situación derivada de la COVID-19, las instituciones educativas se vieron forzadas a cambiar a la evaluación en línea y tuvieron que lidiar con ciertos obstáculos pedagógicos y tecnológicos. Al consultar la documentación existente sobre la cuestión de la evaluación en línea en este contexto de crisis, hay una cosa que está clara: tanto el cuerpo docente como el estudiantado deben colaborar para dar una respuesta que conjugue las decisiones metodológicas y tecnológicas y, al mismo tiempo, garantice la ecuanimidad, la seguridad jurídica y la transparencia para todas las partes interesadas internas y externas (García-Peñalvo et al., 2020).

Los datos como fuente de información de calidad

Cuando se utiliza la evaluación en línea de manera formativa, las tecnologías de la información y la comunicación (TIC) sirven para fundamentar el proceso iterativo de recopilación y análisis de información sobre el curso del aprendizaje por parte de los profesores y también de los alumnos, con el fin de evaluar los resultados relacionados con los logros anteriores y la consecución de los resultados de aprendizaje previstos y no previstos (Nikolova, 2012). En este sentido, la evaluación en línea ha evolucionado de forma significativa a partir del enfoque en analíticas de aprendizaje (learning analytics). Palmiero y Cecconi (2019) se centran en los datos obtenidos en el entorno del aprendizaje digital. De hecho, las pruebas informatizadas permiten recoger información que no podría recuperarse si la prueba fuera en formato papel. Los archivos llamados LOG revelan distintos estilos cognitivos y enfoques de las tareas. El enfoque se desplaza del resultado final al proceso que determina este resultado. Desde esta perspectiva, el uso de esta información, conocida como documentación de datos del proceso, marca la frontera entre la evaluación formativa y la sumativa y da lugar a una nueva forma de evaluación digital. 

La percepción del estudiantado 

Durante la pandemia, los entornos digitales se han convertido en los más utilizados para los estudios y, posteriormente, para la evaluación. La eficacia de la integración entre la tecnología y la evaluación parece acercar a los estudiantes al proceso de evaluación (que suele percibirse como hostil) gracias a su familiaridad con las herramientas digitales (Nirchi, 2021). Ranieri y Nardi (2018) exploran las potencialidades y las limitaciones de las pruebas asistidas por ordenador (CBT), en comparación con las pruebas tradicionales en papel (PBT), en un estudio llevado a cabo en la Universidad de Florencia. El objetivo es comprobar si un sistema de evaluación en línea puede convertirse en una alternativa adecuada a las PBT, en qué medida lo hace y si puede permitir que el proceso de evaluación se gestione de manera más eficiente, sobre todo en las extensas clases de educación superior. Trescientos setenta y dos participantes que probaron las CBT también respondieron un cuestionario sobre sus percepciones, preferencias y grado de satisfacción. Los resultados muestran que los estudiantes respondían de manera muy positiva al sistema digital, sobre todo por el hecho de que ofrece la posibilidad de obtener un retorno inmediato. 

Sin embargo, han surgido algunas cuestiones importantes relacionadas con la lectura en pantalla; de hecho, algunos estudiantes temen no poder leer todo el documento debido a la función de desplazamiento (scrolling), lo que podría constituir un obstáculo para obtener una buena visión de la prueba. Un diseño cuidadoso de las herramientas para las pruebas puede salvar esta dificultad. En el terreno emocional, algunos estudiantes sufrieron ataques de pánico durante los exámenes en línea debido a su incapacidad para gestionar los problemas provocados por la red o la tecnología en general. En Italia, algunos periódicos también informaron de varios casos similares en escuelas y universidades, en las cuales algunos estudiantes no pudieron ser evaluados porque sufrieron episodios de pánico que incidieron negativamente en su rendimiento (Palma, 2020). 

¿Se puede evitar la práctica de copiar en las pruebas en línea? 

Debido al incremento del aprendizaje a distancia, las facultades y universidades han invertido en la prevención de las malas prácticas en la evaluación. Con el fin de evitar las prácticas académicas fraudulentas, algunas de estas instituciones han puesto en marcha sistemas como la vigilancia con cámara web, los patrones biométricos y los servicios de supervisión de terceros, que pueden parecer invasivos. Los analizaremos en el punto siguiente del artículo, pero primero revisaremos dos metodologías basadas en la investigación para prevenir esta mala práctica. 

Diversos investigadores del Rensselaer Polytechnic Institute de Troy (Nueva York) han trabajado en un método para impedir que se hagan trampas en los exámenes con una estrategia centrada en la connivencia entre los estudiantes. Este método consiste en el sencillo proceso de retrasar jerárquicamente las preguntas de examen a los estudiantes en función de su grado de competencia, de manera que los estudiantes más aventajados hacen los exámenes después de los demás, si bien todos ellos disponen de un periodo de tiempo establecido para responder a las preguntas (Burt, 2021).

La Dra. Tricia Bertram Gallant (Universidad de California) y el Dr. Jason M. Stephens (Universidad de Auckland) argumentan en una publicación (Gallant y Stephens, 2020) que las facultades y las universidades tienen la obligación ética de responder al problema de la copia a fin de favorecer el desarrollo cívico y moral de los estudiantes, y recomiendan a las universidades que se alejen de los sistemas punitivos y adopten un enfoque basado en el desarrollo cuando respondan a la cuestión de la copia, para trabajar así desde una perspectiva preventiva.

Los dilemas éticos en el uso de los sistemas de supervisión

La pandemia ha acelerado el uso de sistemas de supervisión, especialmente en EE. UU. y Europa. Este software, basado en la inteligencia artificial, verifica el ordenador del estudiante durante un examen en línea y también obtiene muchos datos personales, lo que le permite averiguar si los alumnos hacen trampas. Otros métodos también intentan comprobar la identidad del estudiante que se está examinando. 

En general, los sistemas de supervisión funcionan del mismo modo: los estudiantes se conectan a una página privada del sitio web de la universidad, acceden al apartado del examen y empiezan una especie de comprobación preliminar que les hace, entre otras cosas, mostrar toda la sala, probar el micrófono y enseñar el documento de identidad. Posteriormente, empieza el cuestionario propiamente dicho; la cámara controla cualquier movimiento sospechoso y lo marca o destaca para que el profesor pueda revisar ese momento concreto y averiguar si realmente el estudiante estaba copiando o no. La identificación tiene lugar mediante la cámara web y el micrófono, en caso de ruidos o voces sospechosos. Se presta una atención máxima a los movimientos corporales, a la mirada del estudiante y a toda la actividad con el ratón o el panel táctil, el teclado y la pantalla. 

Con los sistemas de supervisión en línea, los principales problemas que cabe destacar son dos: el tratamiento de los datos personales y el conflicto de intereses con el software. Aunque la supervisión se utiliza para evitar que los estudiantes copien en los exámenes, existe una gran preocupación por el tratamiento invasivo de datos, el riesgo de pérdida de datos y las obligaciones de consentimiento, entre otros, que han provocado que algunos alumnos se rebelen contra este sistema. Por ejemplo, en Italia, la Universidad de Bocconi ha sido multada con 200.000 euros por utilizar un sistema de supervisión (Dimalta, 2021).

Mientras se resuelven estas cuestiones legales sobre protección de datos, algunas instituciones se han decantado por opciones alternativas. En la University of the People, aunque algunos estudiantes eligen hacer los exámenes con el sistema de ProctorU, previo pago de una tasa, pueden superar un examen final con una opción alternativa presencial mediante el procedimiento siguiente: envían el examen a un supervisor que los propios alumnos han elegido (de acuerdo con un determinado reglamento y sin coste alguno); a continuación, se identifican ante dicha persona y, finalmente, hacen el examen bajo la vigilancia de este supervisor (UoP, 2022). 

Conclusiones

La digitalización forzada por la situación de la pandemia no puede ser el único motivo para la transformación digital de las formas de evaluación de las universidades y escuelas. Tanto los medios electrónicos como las características de la sociedad están evolucionando, y las instituciones educativas deben seguir profundizando en las lecciones aprendidas. Además de las primeras medidas de adaptación rápidas, debe haber una labor tecnológica y pedagógica real y profunda detrás de esta evolución de las formas tradicionales de evaluación. La evaluación virtual debe estar respaldada por el diseño instruccional y la pedagogía, los principios éticos, las leyes de protección de datos y la conjunción con otros tipos de pruebas realizadas a mediados del curso y el retorno entre el estudiante y el profesor. En cuanto a la respuesta del estudiantado, aunque no sabemos lo que ocurrirá en el futuro, es de esperar que la práctica y el apoyo institucional le lleven a sentir más confianza en los recursos electrónicos. 

Bibliografía

Burt, C. (1 de marzo de 2021). RPI researchers reveal a new method to reduce deception. University Business. Disponible en: https://universitybusiness.com/rpi-researchers-uncover-new-method-to-reduce-cheating/ 

Dimalta, D. (30 de septiembre de 2021). Controllo remoto degli studenti, vizio di tanti: il Garante non sanzioni solo Bocconi. Agenda Digitale: Network Digital 360. Disponible en: https://www.agendadigitale.eu/sicurezza/privacy/controllo-remoto-degli-studenti-tanti-peccano-il-garante-non-sanzioni-solo-bocconi/ 

Gallant, T.B., Stephens, J.M. (2020). Punishment Is Not Enough: The Moral Imperative of Responding to Cheating With a Developmental Approach. Journal of College and Character, 21:2, 57-66, DOI: 10.1080/2194587X.2020.1741395. Disponible en: https://www.tandfonline.com/doi/abs/10.1080/2194587X.2020.1741395?journalCode=ujcc20 

García-Peñalvo, F. J., Corell, A., Abella-García, V., Grande, M. (2020). Online assessment in higher education at the time of COVID-19. Education in the Knowledge Society, 21 https://doi.org/10.14201/eks.23086. Disponible en: https://revistas.usal.es/index.php/eks/article/view/eks20202112 

JISC. (2007). Effective practice with e-assessment. HEFCE. Disponible en: http://www.jisc.ac.uk/media/documents/theme 

Nikolova, M. (2012). Characteristics and Forms of the Electronic Assessment of the Knowledge – Proceedings, Русе Volumen 51, libro 6.1, Mathematics, Informatics and Physics, Ruse, 2012, (93-98), ISSN 1311-3321. Disponible en: https://conf.uni-ruse.bg/bg/docs/cp12/6.2/6.2-15.pdf 

Nirchi, S. (2021). La valutazione dei e nei sistemi formative e-learning. Roma: Roma TrE-Press. Disponible en: https://romatrepress.uniroma3.it/libro/la-valutazione-dei-e-nei-sistemi-formativi-e-learning/ 

Palma, E. (28 de abril de 2020). Esami universitari online, tra incertezze, paure e ansie degli studenti: “Preoccupano possibili problemi di rete”. New Sicilia. Disponible en: https://newsicilia.it/agrigento/cronaca/esami-universitari-online-tra-incertezze-paure-e-ansie-degli-studenti-preoccupano-possibili-problemi-di-rete/551050 

Palmiero, C., Cecconi, L. (2019). Use of Learning Analytics in formative and summative evaluation. Journal of E-Learning and Knowledge Society, 15(3), 89-99. https://doi.org/10.20368/1971-8829/1135019. Disponible en: https://www.je-lks.org/ojs/index.php/Je-LKS_EN/article/view/1135019 

Rovai, A. P. (2000). Online and traditional assessments: what is the difference?. The Internet and Higher Education, Volumen 3, n.º 3, p. 141-151. https://doi.org/10.1016/S1096-7516(01)00028-8. Disponible en: https://www.sciencedirect.com/science/article/pii/S1096751601000288 

Ranieri, M., Nardi, A. (2018). Su carta o sullo schermo? Studio sulle percezioni delle verifiche digitali in ambito universitario. Italian Journal of Educational Technology, 26(3), 56-70. 

https://doi.org/10.17471/2499-4324/1011. Disponible en: https://ijet.itd.cnr.it/article/view/1011

University of the People (2022). Proctored exams. Disponible en: https://catalog.uopeople.edu/ug_term1_item/academic-regulations/proctored-exams