Este texto se publicó originariamente como una nota para ThinkEPI lanzada a la lista de mailing IWETEL. Lo reproduzco a continuación para quien sea de interés.
Las acciones impulsadas por la ANECA desde que su adhesión a CoARA en 2023 no se orientan únicamente a una reforma de criterios del sistema nacional de evaluación, sino que buscan promover un cambio cultural en la ciencia española basado en valores como la inclusión, la transparencia y la responsabilidad (Blanco-Palencia, Paneque, and Ramos-Vielba 2024). Sin embargo, cualquier debate sobre estas cuestiones tiene inevitablemente a replegarse en torno a criterios, baremos e indicadores. Así, se confunde la naturaleza de estos indicadores, mezclando aquellos dirigidos a medir el impacto científico (p. ej., citas), con los que evalúan la visibilidad (p. ej., indexación o factores de impacto), o la accesibilidad (p. ej., acceso abierto), presentándolos como criterios antagónicos cuando en realidad responden a lógicas distintas.
Esta confusión responde a una excesiva simplificación de lo que es un proceso complejo del que participan múltiples actores. Actores que inciden en distintos momentos en los resultados del proceso evaluativo. También contribuye a la confusión una definición vaga de los objetivos que pretende alcanzar cada una de las herramientas evaluativas de las que dispone el sistema español (sexenios, acreditaciones) que además ha ido mutando con el tiempo (complemento salarial, horas de docencia, etc.).
En esta nota me gustaría proponer un marco analítico general que aporte claridad y dé una visión holística a la hora de analizar el éxito de la reforma evaluativa e identificar los puntos críticos o de mayor tensión. Con ello espero que este marco enriquezca las discusiones y lleven a un diálogo útil, más alejado de los instrumentos (baremos e indicadores) y centrado en los procesos. Este modelo se basa en cuatro niveles de implementación: el nivel estratégico, en el que se desarrollan los objetivos generales de la reforma; el nivel operativo o procedimental, en el que se diseña el sistema de evaluación y las herramientas a emplear; el nivel de implementación, que tiene lugar en el momento en el que se aplican dichos instrumentos; y, por último, el nivel de resultados, que aborda los efectos observables de dicha reforma. A continuación, detallo el marco y describo detenidamente cada uno de los niveles.
Delegación y control
Uno de los aspectos clave que hay que tener claro, es que son muchos y de muy diferente naturaleza, convicción y expertise, los actores que participan en un sistema evaluativo. A bote pronto, se me ocurren al menos cuatro tipos de actores involucrados en un proceso evaluativo:
Las instituciones, que deciden adoptar o no principios como los que marcan organizaciones supranacionales tipo CoARA o DORA. O que en cualquier caso, establecen la visión y misión de los programas de financiación, contratación o distribución de recursos a nivel nacional, regional o institucional. Instituciones que no siempre adoptan los compromisos a los que se adhieren desde el convencimiento, sino influidos por la tendencia general que siguen otras instituciones similares. Esto afectará a su nivel de compromiso, desde aquellas que implementen cambios meramente cosméticos a aquellas que transformen y rediseñen sus procesos de evaluación internos.
Los gestores y técnicos de agencias de evaluación o financiación, tanto a nivel nacional como autonómico. No sólo son los responsables del diseño de herramientas y procesos evaluativos, sino que emplean distintos instrumentos, destinados a finalidades distintas. Por un lado, tendríamos el sistema de acreditaciones o sexenios que gestiona ANECA en el plano nacional, pero también la AEI que gestiona la dotación de contratos posdoctorales, ayudas de movilidad, financiación de proyectos o financiación de centros de investigación, u otras entidades como es el ISCIII con sus propios programas de recursos humanos, proyectos y centros, por mencionar algunos del sector público.
Los gestores y técnicos de universidades y centros de investigación, que no sólo cuentan con convocatorias internas, sino que, especialmente en el caso de las universidades, diseñan el programa formativo de doctorandos y, por tanto, juegan un papel clave a la hora de moldear la cultura científica de los futuros investigadores. Esto es especialmente reseñable en el caso de programas de doctorado que en muchos casos ya introducen métricas y baremos en sus normativas para establecer unos criterios mínimos para la defensa de la tesis doctoral.
Los investigadores, el grupo más diverso y clave en el éxito de cualquier reforma evaluativa. Los habrá que tal vez ni se cuestionen el sistema actual de evaluación, los que estén a favor y los que, si bien sean críticos, lo hagan desde una visión particular, anecdótica y sesgada del sistema. Además tienen un doble papel, como miembros de las comisiones que implementan la evaluación y sujetos evaluados por las mismas, muchas veces presos de un claro conflicto de interés.
Todos estos tipos de actores que interactúan, muchas veces por un objetivo común, otras con intereses cruzados, establecen una serie de relaciones entre sí que se mueven entre la delegación de tareas y el control del resultado. Esto lo reflejan bien Braun y Guston (2003), cuando presentan el modelo Principal-Agente. Se trata de un modelo en el que un actor principal delega en otro actor (el agente), una serie de tareas, al carecer del expertise o los recursos necesarios para llevarla a cabo. El problema aparece cuando el agente aprovecha su posición de poder para tergiversar los mandatos del actor principal, reduciendo la capacidad de control de éste en los resultados que se deriven. Algo así ocurrirá en casos en los que, independientemente de las reformas que ANECA o cualquier otra entidad quiera implementar, los agentes de dicha reforma (en este caso, tanto universidades como investigadores) no se alineen con los principios y objetivos de la agencia.
Los cuatro niveles de implementación de la reforma
Cerramos por tanto el círculo, describiendo los diferentes niveles de implementación, y el lugar que ocupa cada uno de los actores para así poder entender, identificar y explicar posibles puntos de tensión en la reforma. Hay que reseñar que no hay una alineación exacta entre actores y nivel. Los niveles más bien representan estadios en el diseño del sistema. De este modo, habrá actores que tengan un rol híbrido en muchas instancias, actuando tanto como actores principales como agentes.
Nivel estratégico
En este nivel se definen la visión y principios generales del sistema de evaluación. Estas intenciones estratégicas se expresan en términos amplios y aspiracionales. La falta de concreción permite una fácil adhesión por parte del resto de los actores del sistema, pero genera interpretaciones divergentes que pueden resultar problemáticas al trasladarse a niveles inferiores. En el caso de CoARA, ésta habla de una evaluación responsable, transparente, que abrace la diversidad de contribuciones, trayectorias y perfiles, principios que, a priori, parecen razonables y deseables.
Nivel operativo
Aquí los principios estratégicos deben traducirse en procedimientos, estructuras y criterios concretos que permitan alcanzar esas metas aspiracionales. El gran reto consiste en traducir lo abstracto en lo concreto. Este es un espacio compartido por múltiples actores. ANECA, AEI, ISCIII, agencias autonómicas, universidades o centros de investigación ocupan este espacio. Las líneas estratégicas se traducen en programas, convocatorias, comisiones y baremos. De momento, los cambios introducidos por ANECA afectan a este nivel. Por ejemplo, la introducción del currículo narrativo es un cambio a nivel operativo que pretende modificar el procedimiento evaluativo, la modificación de criterios sería otro ejemplo más.
Los actores de este nivel se sitúan en una posición híbrida: actúan como agentes ante los poderes públicos que dictan la estrategia, pero también como entidades principales antes las comunidades científicas a las que deben evaluar. El éxito de radicará en su capacidad para equilibrar ambas lógicas y mantener la coherencia en el proceso. CoARA además, presenta una paradoja evidente, al introducir compromisos que inciden en el nivel de implementación. Así, determina que la evaluación debe ser principalmente cualitativa, que los indicadores cuantitativos deberán tener un papel secundario, y que, en cualquier caso, no deben emplearse ni Factores de Impacto ni rankings institucionales. Esta apostilla acota la capacidad de actuación de los actores que participan en este nivel.
Nivel de implementación
Es el nivel más crítico y a menudo el más opaco de todo el proceso. Evaluadores y comisiones deberán aplicar los criterios y emitir juicios de valor. Aquí, las directrices de las entidades principales chocarán con la cultura disciplinar y la tradición evaluativa que caracterice a cada campo, institución o comunidad. En caso de que topen con comunidades más conservadoras y consolidadas con relación al uso de métricas de revista, difícilmente verán fructificar la reforma. En áreas sin una postura consensuada en cuanto a criterios de calidad, como las Humanidades, el riesgo será el de caer en una laxitud evaluativa.
Mientras que CoARA es especialmente explícita a nivel operativo, más allá del papel principal de la evaluación cualitativa, no arroja luz sobre la implementación de dicha evaluación. La bibliometría narrativa (Torres-Salinas et al. 2024) intenta solucionar parcialmente esta laguna. Sin embargo, hay otras consideraciones importantes que deben tenerse en cuenta. En este sentido, es especialmente interesante la reflexión de Lamont (2009), al final de su estudio sobre la evaluación por pares en paneles de evaluación de proyectos, donde habla del tamaño del sistema evaluativo como clave para mitigar el conflicto de interés entre evaluadores y evaluados (habla sobre las dificultades de implementar un sistema de evaluación por expertos como el de Estados Unidos, en países como Francia, con sistemas científicos de menor tamaño).
Nivel de resultados
Por último, el nivel de resultados es el que permite analizar el éxito de la reforma e identificar efectos observables en las prácticas de publicación, perfiles de investigadores y diversidad de trayectorias. No obstante, analizar los resultados de reformas del calado de lo que propone CoARA, requiere grandes periodos de tiempo de observación tanto antes como después de su implementación. Esto hace que otros muchos factores entren en juego (p. ej., relevos generacionales en las plantillas de investigadores, cambios sociales), dificultando la capacidad de aislar el efecto de la reforma. Algo especialmente evidente cuando hablamos de un cultural como al que aspira CoARA.
A modo de cierre
Espero que esta propuesta de análisis sea útil para orientar un debate complejo que combina perspectivas y visiones muy distintas del sistema. Entender la reforma evaluativa a través de sus distintos niveles ayuda a identificar dónde se producen los desajustes y qué condiciones son necesarias para que las transformaciones sean efectivas. El caso español, tal vez junto al italiano, es paradigmático en Europa. Con un contexto histórico muy particular, es un sistema caracterizado por estar centralizado a nivel nacional y por centrarse en evaluar personas, y no instituciones, como es habitual en otros países. Entender qué decisiones afectan a cada nivel y cómo interactúan los actores que operan en ellos es clave para diseñar intervenciones efectivas. Igualmente lo es entender las competencias reales de cada nivel y hasta qué punto pueden influir en el resto. Sólo así se puede aspirar a un sistema más transparente y plural.