Mónica Romero: «El algoritmo wav2vec2.0 permitirá detectar pacientes con Alzheimer de forma temprana»

Escalar y correr son una de sus aficiones favoritas. Investigar sobre diferentes técnicas de Machine Learning o Deep Learning también. Así se presenta Mónica Romero, graduada del máster universitario de Ciencia de Datos de la UOC y ganadora de la jornada eHealth Project: de la Idea al Proyecto por su proyecto “Detección temprana de la enfermedad del Alzheimer utilizando nuevos modelos semi-supervisados”. La jornada eHealth Project, promovida por el eHealth Center de la UOC, tiene el objetivo de impulsar proyectos de investigación e innovación en salud digital. 

El proyecto premiado propone aplicar nuevos métodos de aprendizaje semi-supervisado para la detección temprana del Alzheimer, en concreto, la arquitectura wav2vec2.0 publicada por Facebook AI en octubre de 2020. Desde Tecnología++ hablamos con Mónica para conocer todas las claves de su proyecto, así como descubrir su experiencia como estudiante de la UOC. 

¿Cuál era el objetivo de tu TFM?

En un primer momento, mi objetivo era buscar la forma de aplicar algoritmos de Deep Learning a casos de la vida real, por ejemplo, a análisis de imágenes que sirvan para identificar enfermedades como el Alzheimer. Conforme fui adentrándome en las diferentes aplicaciones que hay dentro de este campo lo que más me llamó la atención fue el lenguaje natural. En ese instante fue cuando decidí centrarme en estudiar sus aplicaciones. 

¿En qué se basa la arquitectura Wav2vec2.0 usada en el desarrollo de tu TFM?

La arquitectura Wav2vec2.0 está formada por 3 redes neuronales diferentes. Entre ellas se encuentra un nuevo tipo de arquitectura de red neuronal llamada Transformer, usada principalmente en el procesamiento del lenguaje natural y de gran popularidad en los últimos años gracias a las mejoras en la eficiencia y precisión. Su principal característica es la “atención” con la que aumenta la velocidad para entrenar estos modelos. Además, el modelo utilizado está entrenado con más de cientos de miles de horas de voz en más de 50 idiomas sin etiquetar. 

¿Qué te hizo escoger este tema para tu TFM? ¿Por qué decidiste centrarlo en la afasia?

Este algoritmo, publicado por Facebook IA con una arquitectura muy novedosa, surgió con el objetivo de ser aplicado en el aprendizaje de idiomas minoritarios, ya que las arquitecturas utilizadas en el reconocimiento automático del habla necesitan cientos o miles de horas de audios y esto no es posible en idiomas poco hablados. 

Por ello, al principio, el TFM estaba enfocado en aplicarse a dialectos minoritarios. En concreto, se iba a aplicar a los diferentes dialectos del euskera, donde no hay unas grandes bases de datos. Durante las primeras semanas del trabajo final de máster, en la comunidad Hugging Face se hizo una competición mundial en la que se debía aplicar este modelo semi-supervisado a diferentes idiomas. Gracias a los resultados obtenidos en la competición, tanto propios como de otros participantes, pudimos ver el gran potencial de este algoritmo y comenzamos a explorar el aplicarlo en el área de la salud, más concretamente en la afasia, una patología del habla no tan estudiada.

Explícanos cómo estos modelos semi-supervisados pueden ayudar a la detección temprana de la enfermedad. 

Como he comentado anteriormente, este tipo de arquitecturas poseen diferentes capas de redes neuronales. En el proceso de entrenamiento se obtienen unas representaciones o patrones en las capas intermedias basándose en los datos con los que estamos entrenando al modelo. Estos patrones o características que obtiene la arquitectura son las que se van a estudiar para que a partir de ellas sea posible clasificar un audio de una persona con un nivel de Alzheimer en los primeros estados y un audio de una persona sin Alzheimer. 

En tu trabajo sobresale la aplicación del algoritmo wav2vec2.0. ¿Qué tiene de innovador este algoritmo?

Este algoritmo surgió con el objetivo de ser aplicado en el aprendizaje de idiomas minoritarios. Las arquitecturas utilizadas anteriormente en el reconocimiento automático del habla necesitan hasta miles de horas de audios. Con idiomas minoritarios, esto no es factible. Lo novedoso de este proyecto es su aplicación a bases de datos de personas con algún deterioro cognitivo en el habla. 

Se trata de un algoritmo muy novedoso y con mucha proyección futura. Esta propuesta que planteo estudiará extraer características que puedan detectar un principio de Alzheimer a través de estructuras microscópicas presentes en la señal de audio. Es decir, se extraerán ciertas características de capas anteriores en las redes neuronales que sirvan para detectar pacientes con Alzheimer de forma temprana.

¿Qué aplicaciones imaginas que pueden tener las conclusiones de tu TFM? 

Primero abrir nuevas líneas de investigación a la comunidad para aplicar este tipo de nuevas arquitecturas a diferentes patologías que afectan al habla. Esto ayudará a la creación de nuevas herramientas basadas en estos algoritmos para dar diagnósticos más precisos o tempranos para personas con afasia. 

¿Qué aplicación de las matemáticas en el ámbito de la salud te resulta más interesante? 

Las matemáticas son una disciplina que puede aplicarse a diferentes ámbitos de la sociedad como la salud, el medio ambiente o la economía. En mi caso, en el ámbito de la salud, he tenido la oportunidad de aplicarlo en mi TFM usando una modelización de la enfermedad del Alzheimer y distintos fármacos. 

Has sido la ganadora de la jornada eHealth Project de este año. ¿Qué ha supuesto para ti recibir este reconocimiento?

Este premio ha supuesto para mí una gran oportunidad de poder seguir investigando y contar con los recursos necesarios para continuar con la investigación comenzada en el trabajo final de máster. 

¿Cómo has vivido todo el proceso de investigación?

Este proceso ha sido muy intenso a la vez que emocionante. Durante varios meses he tenido que compaginar mi trabajo con la investigación y el planteamiento del proyecto. Han  habido momentos difíciles, pero estoy muy satisfecha con el resultado obtenido y los logros conseguidos.

Para mí, la realización de mi trabajo final de máster y la posterior publicación del paper en la revista científica MDPI han sido un paso más en la investigación que me ha dado muchos ánimos para seguir trabajando en esta línea. Además, a todo esto hay que sumarle el alto nivel de los otros proyectos que participaban en el concurso.

Hablemos del máster. ¿Por qué te decidiste por el máster universitario de Ciencia de datos impartido por la UOC?

Cuando comencé a trabajar en el sector, estuve investigando técnicas más avanzadas y herramientas para analizar datos. Durante un tiempo estuve estudiando por mi cuenta y también a través de cursos gratuitos online, pero quería realizar un máster oficial donde pudiera aprender ya no solo técnicas de análisis de datos avanzadas, sino también nuevos campos como análisis de textos, lenguaje natural, clasificación de imágenes… Además, buscaba que este máster fuese online y poder compaginarlo con mi trabajo. Me decidí por la UOC porque su programa de asignaturas es muy actual y se estudia con herramientas y técnicas que se pueden aplicar desde el trabajo. 

¿Qué te ha parecido el sistema de aprendizaje que tiene la UOC?

El tipo de aprendizaje de la UOC ha sido una de las razones por las que me decidí por este máster. Está centrado en el alumno, en ayudarte en todo momento y en darte las facilidades necesarias para que aprendas y no sea un mero trámite para obtener un título. 

¿Lo recomendarías? ¿Por qué?

Sí. Es un máster muy completo que te ayuda a sumergirte en profundidad en la ciencia de datos. Otra razón por la que lo recomendaría es por su tipo de evaluación, esta es de forma continua mediante prácticas y entregas. También por la calidad de los profesores que he tenido en las diferentes asignaturas y sobre todo por mi tutor del trabajo final de máster.

¿Qué aptitudes crees que has potenciado con el desarrollo de este máster?

He conseguido ser más organizada. Trabajaba a la vez que hacía el máster y esto ha supuesto un gran esfuerzo en el que he tenido que organizarme las prácticas que iba teniendo semana a semana por las tardes y fines de semana. Por otro lado, también he mejorado mi capacidad analítica, que me ha ayudado a ser más resolutiva en mis tareas.

¿Qué es lo que más te ha gustado del máster?

Aplicar todos los conocimientos aprendidos en un caso real gracias al trabajo de final de máster. Además, me ha dado la posibilidad de investigar mucho más en profundidad sobre el reconocimiento automático del habla y la oportunidad de trabajar con profesionales en este campo, de los que he aprendido muchísimo. 

Tienes por delante un futuro muy prometedor. ¿Cuáles son tus objetivos a corto y medio plazo?

Mi meta principal es seguir especializándome en el procesamiento del lenguaje natural. Algunas metas a corto son la docencia que comenzaré en los próximos meses y, sobre todo, seguir trabajando en este proyecto con el que he ganado el premio del eHealth Center.