¿Es el ranking de democracia de The Economist un buen índice?

No cabe duda de que el ranking Democracy Index (DI) de la revista The Economist es uno de los índices más influyentes del mundo. Cada año, cuando se publican los nuevos resultados, gobiernos, partidos políticos, medios de comunicación y opinión pública doméstica e internacional observan con atención qué países suben y bajan posiciones. No es por menos. Un país puede adquirir prestigio, buena reputación e incluso beneficios económicos si está bien clasificado, ya que su puntuación puede señalar, por ejemplo, que se respetan los derechos humanos o que es un buen lugar para vivir y para hacer negocios.

La gran influencia de los índices oculta, muchas veces, cuestiones más sustantivas sobre sus puntuaciones. ¿Quién decide que un país debe subir o bajar su nota? ¿Bajo qué criterios? ¿La modificación de la nota va de acuerdo con su metodología? Desde luego, la calidad de la democracia se medirá mejor si los índices que la miden son también de calidad. Y por calidad entendemos que el índice sea válido, fiable y transparente. En este artículo se revisa cómo y bajo qué criterios The Economist ha puntuado España en los últimos años. Es una cuestión relevante, ya que la calidad de la democracia ha sido puesta en cuestión por varios actores domésticos e internacionales y porque en el último informe de The Economist  España ha pasado a ser considerada una “democracia débil”. Este artículo concluye que la calidad metodológica del índice DI es baja. 

La metodología del Democracy Index

El ranking DI está elaborado por la Intelligence Unit de la revista The Economist y puntúa la calidad democrática de los países en escala de 0-10, siendo 10 el nivel máximo de democracia y 0 el nivel mínimo. Según su último informe publicado a principios de 2022, Noruega es el país mejor clasificado, con 9.75 puntos, y Afganistán el país con peor nota, con 0.32 puntos. El informe también establece varias categorías de democracia según la puntuación numérica que recibe cada país. Así, los países entre 8 y 10 puntos son clasificados como “democracia plena”, entre 6 y 8 “democracia débil”, entre 4 y 6 “gobierno híbrido” y menos de 4 “gobierno autoritario”.

La nota numérica final del índice se establece sobre la base de 60 indicadores que están agrupados en cinco dimensiones. Así, por ejemplo, la dimensión de “libertades civiles” está formada por 17 indicadores que miden, entre otros, si en el país en cuestión se respeta la libertad de prensa, la libertad de expresión o si existe diversidad de opiniones en los medios de comunicación. Cada indicador puede tener tres valores: 1, 0.5 o 0. Por ejemplo, un país recibiría un 1 en el indicador de libertad de prensa si esta se respeta totalmente, un 0.5 si existen algunas vulneraciones y 0 si no se respeta. Una vez establecidas las puntuaciones para cada país, estos indicadores se agregan al nivel de dimensión y después se vuelven a agregar de modo que cada dimensión tenga el mismo peso en el índice final.

Para realizar un análisis del ranking DI, lo primero con lo que se encuentra un observador es con un problema de transparencia. The Economist no ofrece datos al nivel de indicador, por lo que no se puede conocer si los codificadores de la Intelligence Unit han puntuado un país con 0, 0.5 o 1 en cada indicador. La única información disponible es la puntuación de cada país a nivel de dimensión que aparece en las tablas del informe anual (ver resumen en la siguiente tabla), y el propio redactado del informe, donde en algunas ocasiones se justifica de forma más o menos explícita por qué un país ha sufrido una variación de un año a otro.

La puntuación de España

De las variaciones numéricas que ha sufrido España en sus niveles de democracia, únicamente algunas ellas están comentadas en los últimos informes de manera explícita. Vamos a analizar dos de las variaciones que, como se detalla a continuación, apuntan a un problema grave de validez. Estas variaciones están señaladas con color en la tabla anterior. La primera variación se comenta en el informe de 2019, donde se apunta que la mejora en la puntuación de España entre 2018 y 2019 se debía a un “improvement in relation to one question concerning local elections, which were held in May 2019 and were deemed to have been free and fair.” Efectivamente, si miramos la dimensión de ‘Electoral process and pluralism’, observamos que existe un indicador que pregunta “Are municipal elections both free and fair?”.

Se podría deducir que este indicador bajó en 2017 y volvió a subir en 2019, lo que repercutió en un descenso de 9.58 a 9.17 a nivel de dimensión. En 2019 recuperó sus niveles iniciales. No obstante, resulta complicado establecer el motivo de dicha variación. En primer lugar, porque las elecciones municipales tuvieron lugar en España en 2015 y en 2019. Pero no parece existir ningún motivo por el cual se puedan considerar más o menos libres. Dicho en otras palabras, las elecciones municipales han sido desde el inicio del período democrático igual de libres y no parece que haya existido una variación suficientemente significativa en su desempeño como para pensar que se deba cambiar su puntuación.

La explicación más plausible es que dicha variación se deba a que los codificadores del The Economist consideraron, por un motivo u otro, penalizar España en 2017 por los acontecimientos relacionados con el referéndum de independencia en Catalunya y, pasados estos acontecimientos, decidieron devolver el indicador a su antiguo nivel en 2019. Esta variación responde, en cualquier caso, a un problema de validez, porque la modificación del indicador fue motivada por un hecho que no tenía nada que ver con la operacionalización del indicador.

La segunda variación que se analiza en este artículo se recoge en el informe de 2021, donde se explica que España ha sufrido un «downgrade in its score for judicial independence, related to political divisions over the appointment of new magistrates to the GCJ». Si observamos las tablas, la única dimensión que sufrió un cambio entre 2020 y 2021 fue la de ‘Civil Liberties’, que bajó de 8.53 a 8.24. El único indicador de dicha dimensión relacionado con el poder judicial mide lo siguiente:

Efectivamente, la Comisión Europa urgió a España para que renovase los magistrados del Consejo General del Poder Judicial. Pero el indicador mide el grado en el que el poder judicial es independiente de la influencia del gobierno. Precisamente, existe actualmente una distancia ideológica importante entre los tribunales, de corte más conservador, y el gobierno, de corte más progresista. Por este motivo, es difícil de justificar con lo que está descrito en la operacionalización de este indicador que haya motivos para pensar que el gobierno tiene influencia en el poder judicial. Más bien al contrario. De nuevo, dicha variación responde a un problema de validez, porque la modificación del indicador es motivada por un hecho que tiene poco que ver con lo que pretende medir el indicador.

Conclusión

Con el examen de los cambios que ha sufrido España en el índice DI, se concluye que la calidad metodológica del índice de la revista The Economist es baja. El índice no es transparente y su validez fuertemente está comprometida, puesto que las variaciones de los indicadores son arbitrarias y no responden con la operacionalización establecida en la metodología. Esto no significa que la democracia en España no tenga déficits importantes. Pero para que los índices generen los incentivos correctos, su metodología debe ser clara, transparente y sobre todo predecible. Si sus variaciones están sujetas a la arbitrariedad, los estados estarán más pendientes de presionar a los árbitros que de cumplir con los estándares democráticos marcados por una rigurosa metodología.