Isidro F. Aguillo:  “Hay muchas ciencias abiertas y todas ellas tienen que ser promovidas” | Podcast Parenthesis

Bienvenid@s a un nuevo episodio del podcast Parenthesis. En esta ocasión contamos con la presentación de Candela Ollé y Alexandre López-Borrull, quien entrevista a nuestro invitado de hoy: Isidro F. Aguillo sobre ciencia abierta, ránquings de evaluación científica, métricas y mucho más.

Puedes escucharlo aquí:

Isidro F. Aguillo es licenciado en Biología, Máster en Información y Documentación, diplomado en estudios avanzados, honoris causa por la Universidad de Indonesia y la Universidad nacional de investigación nuclear de Moscú. Sobre todo es un reconocido experto en la cibermetría, el estudio y análisis de aquello que es medible en Internet. Actualmente, es Responsable del Laboratorio de Cibermetría del Instituto de Políticas y Bienes Públicos del CSIC, y es el creador del Ranking Web de Universidades. 

A continuación, puedes leer la entrevista:

¿Cuál ha sido tu fluir académico?

Cuando trabajaba en la facultad de Biología me dedicaba a clasificar animales. Cuando clasificas animales debes detectar si esa especie ya existía o has descubierto una nueva especie: te conviertes en documentalista. Así descubrí así la documentación científica, las biografías, la importancia de las revistas científicas y me llamó mucho la atención.

Luego legó Internet, lo que supuso un cambio enorme. He vivido la evolución de Internet, antes de la web, y las posibilidades que ha ofrecido han sido espectaculares. Lo que aprendí al clasificar animales lo plasmé al clasificar páginas web, y sobre todo, a mostrar quién está dentro de ellas.

En una entrevista en la UOC defiendes la evaluación cuantitativa porque bien contextualizada muestra información sin sesgos, y más objetiva. 

La ley de los grandes números, que es matemática, dice que cuando los números involucrados son muy grandes, los patrones aparecen más claramente. En la bibliometría los números son relativamente más pequeños, pero en la altmetría los números eran superiores.

En el Laboratorio de Cibermetría, nuestra primera decisión fue de tipo académica para encontrar un mecanismo que nos permitiese segregar mejor.

En ese momento, las capacidades para aprender los contenidos en la web eran limitados, de modo que la aproximación cuantitativa nos funcionaba. Eso ha cambiado: ahora los sistemas de procesamiento de lenguaje natural, de análisis semántico, etc. permiten hablar de un salto cuantitativo más relevante.

Cuando tienes las herramientas adecuadas puedes enfrontar retos de un entorno global. Tengo confianza en que los métodos semánticos, de inteligencia artificial, puedan ayudarnos a enfrentarnos a la medición de una forma no estrictamente cuantitativa.

¿Crees que hemos pasado de una cierta edad de oro de la bibliometría, con una centralidad transversal muy grande, a una etapa donde aunque se puede contar más, ya no importan sólo las cuentas?

Me alegraría. Lo que llamo la bibliometría de salón, de entonces, sería una técnica, no adecuadamente evolucionada. La época de la bibliometría fácil es bueno que la estemos dejando atrás, la disciplina de hoy va más allá de los indicadores, cuenta con 100 años de antigüedad, y permite trabajar de forma más sofisticada.

Hablemos ahora del factor de impacto. Ideado por Eugene Garfield en 1955, el factor de impacto quiere recoger el número de citas de un número concreto de artículos en revistas en un tiempo determinado. Mide el número de citas de artículos en una revistas dividido por el número de artículos publicado en la revista. Es un criterio que, a priori, da un simple número, pero ha dado mucho de sí. ¿Puedes explicar dónde nos está llevando este factor de impacto y cuál es su pecado original?

Antes de la creación del indicador hay un pecado original en las bases de datos que ideó Eugene Garfield, y es que son selectivas. Es una selección restringida y cuenta con un sesgo lingüístico (eran revistas en inglés), y de ámbito (ciertas disciplinas estaban más bien cubiertas que otras). El pecado original es que se excluyó buena parte de la información disponible.

El segundo criterio era técnico (y se podría haber resuelto): la cobertura temporal. El problema del factor de impacto Garfield es que recoge citas de un año sobre artículos de dos años: ventana de producción de dos años y ventana de citación es de un año. Cualquier estudio demuestra que puedes recibir citas más allá del segundo año, y el pico de citación incluso se situará más adelante en el tiempo. Eso hace que se pierda mucha información que está disponible.

Esto se ha resuelto un poco en Sitescore, donde la ventana de citación y producción es de 4 años.

Otro problema que existe es la precisión que se ha dado al factor de impacto: se utiliza con tres cifras decimales. La segunda y tercera cifra decimal no es significativa cuando divides números enteros positivos de pocos cientos o miles entre pocas docenas o centenas. 

Explicabas muy bien los problemas técnicos de interpretación del factor de impacto. Pero es evidente que la gran trascendencia social del factor de impacto ha sido la interpretación de evaluar personas, proyectos, universidades, grupos de investigación… en base a la actuación de la revista más que a la producción científica de las personas que habían publicado allí. ¿Estamos en disposición de ir más allá?

Sin duda. Hace años que estamos en ese punto. Cualquier plataforma de bases de datos proporciona en tiempo real y actual el número exacto de citas, y las posibilidades de juntar la información para un autor es automático.  

La llegada de Internet fue una amenaza al sistema de revistas tal y como estaba montado. El factor de impacto como mecanismo de evaluación fue lo que salvó a las revistas para que continuasen teniendo un mercado.

La comunidad científica es consciente de estos problemas y se han producido avances como el acuerdo DORA, un movimiento internacional que promueve una valoración de la investigación basada en la calidad misma de la investigación y no en la notoriedad de las revistas en las que se publica, firmado por universidades como la UOC. Para cambiar el sistema hay dos opciones: o vamos hacia un sistema de métricas de artículos o bien a una aproximación cualitativa del impacto social y científico de nuestra producción. 

Desde mi punto de vista, a nivel internacional hay que trabajar en dos vías:

• Métricas de nueva generación: métricas que midan impacto entre pares, y fuera de los pares (impacto económico, social, cultural…). 
• Aspectos cualitativos: pasar del currículum a la narración. Es el propio autor el que escribe y justifica las líneas de trabajo de cada uno. La entrevista y las cartas de recomendación también son fundamentales. Habría que encontrar mecanismos éticos para calibrar estos dos elementos.

Sí a favor de combinar aspectos cualitativos y cuantitativos, siempre que en los cualitativos haya garantías de transparencia para que la evaluación sea fiable y confiable.

¿Qué es para ti la ciencia abierta?

No hay una ciencia abierta, sino muchas ciencias abiertas y todas ellas tienen que ser promovidas. A nivel de Comisión Europea, la ciencia abierta va ligada a aspectos económicos: si la ciencia financiada por Europa no es abierta, el problema es que se pueden duplicar investigaciones y no se dan las sinergias que podrían generarse. 

Cabe tener en cuenta que la visión de la Comisión europea de la ciencia abierta, lo que llamo el open science, se justifica por razones de mercado. Esa es una de las ciencias abiertas, pero hay otras.

La ciencia ciudadana es un aspecto que la sociedad puede financiar necesidades concretas e importantes. Que el ciudadano no solo sea proveedor de datos para un investigador, sino también un proveedor de financiación dirigida. 

La investigación responsable (RRI) es un aspecto clave detrás de muchos problemas, como la evaluación. Siempre habrá personas que desarrollarán técnicas para hacer trampa. Si hay alguien que hace trampas, que sufra consecuencias. 

¿Cómo los científicos recuperamos espacios a nivel social?

Algo muy relevante en la ciencia abierta es la divulgación, que ha jugado un papel fundamental durante la pandemia. Se ha hecho un esfuerzo de divulgación científica a la sociedad, aunque haya habido elementos disruptivos como la desinformación. 

Queda mucho por hacer en el ámbito de divulgación sobre la emergencia climática, hace falta que profesionales de la ciencia tomen un rol activo en la divulgación científica sobre este tema.

El Ranking Web de Universidades o webometrics es el mayor ranking académico de instituciones de educación superior. Desde 2004 y cada seis meses, el Laboratorio de Cibermetría (CSIC) realiza un ejercicio científico abierto, independiente y objetivo para proporcionar información confiable, multidimensional, actualizada y útil sobre el desempeño de las universidades de todo el mundo basado en su presencia web e impacto. ¿Qué es para ti el Ránking Web de Universidades, el producto en el cual llevas años trabajando?

Nosotros, antes del 2000 teníamos mucha información que explotábamos de distintas formas. Tenemos mucho que agradecer al Ránking de Shanghái. Utilizaron la web para difundir mensajes, en público y abierta, y crearon el indicador compuesto. Intentar definir todas las variables de forma conjunta era muy interesante. 

La misión de internacionalización es muy importante. La transferencia de conocimiento o el hospedaje, también. El modelo de ranking es relevante para las universidades, pero estas también deben ofrecer sus capacidades tecnológicas a la sociedad. Debe haber un acceso directo y sencillo a lo que hacen las personas. El objetivo de mis rankings es abrir la ciencia.