Saltar al contenido principal

Evolución en la presentación de propuestas para proyectos de investigación

Hasta el Plan Nacional de I+D+i 2008-2011, el formato de memoria científico-técnica y de curriculum vitae [1][2], que tradicionalmente el Ministerio correspondiente requería para las solicitudes de las convocatorias, no tenía límite de extensión ni utilizaba la terminología propia de los proyectos europeos (working package, milestone, deliverables, Gantt diagram, person-hours, advisory board, data management plan). La falta de formación para la preparación de propuestas de investigación, a diferencia de lo que ocurre ahora [3], incentivó la tendencia a engordar los curricula como las memorias a la vez que se confundían la motivación o estado del arte con autocitación, objetivos con tareas, hitos con final de tareas, EDP (equivalente a dedicación plena) con persona-horas… Pero con el Plan Estatal de Investigación Científica y Técnica y de Innovación 2013-2016 [4][5] hubo un cambio en el modelo de evaluación para la captación de financiación. Pasó de ser extensiva, a intensiva. El formato de CV se redujo a 4 páginas con unos epígrafes muy concretos y datos bibliométricos del investigador [6]. La extensión de la memoria también se redujo a 20 páginas y sin posibilidad de modificación del tipo de letra ni formato, so pena de ser excluido [7]. Al mismo tiempo, los evaluadores pedían concreción, claridad y atractivo visual a la memoria, más allá de páginas llenas de texto, con ocasionales vaguedades. La idea era clara: la lectura de la memoria tenía que ser agradable y fácil, a la vez que honesta y convincente. De todos modos, esto es una condición necesaria pero no suficiente. Una propuesta mal armada/justificada o de poco impacto, tampoco tendrá éxito a pesar de la forma de presentarla. Existen manuales para preparar propuestas en el contexto actual [8].

Evaluar la investigación más allá de la bibliometría

La cita bibliométrica no es un indicador indiscutible de calidad, sino un marcador de la popularidad [1], como la edad lo es de la biología. Existe una lenta transición de la over-ranked science, espoleada por el lema existencialista “publica o perece”, hacia la slow science [2, 3].

El 17 de mayo de 2013 se hizo pública la llamada Declaración de San Francisco sobre la Evaluación de la Investigación (San Francisco Declaration on Research Assessment, DORA) [4], un documento que critica abiertamente el uso de índices de impacto en la evaluación de la investigación y que está siendo apoyado por cada vez más científicos e instituciones.

Coalition for Advancing Research Assessment (COaRA) [5] es una iniciativa para analizar de forma coherente, colectiva, necesaria y global la reforma de la evaluación de la investigación, de tal manera que podamos pasar de un sistema de evaluación exclusivamente cuantitativo de las revistas, a un sistema que incluya otros productos de investigación, otros indicadores, así como narrativas cualitativas que definan las contribuciones específicas del investigador y que valoren todos los talentos académicos y en todas las disciplinas. Existen otras iniciativas para cambiar el modelo de evaluación de la investigación [6].

En 2023, ANECA se adhirió a DORA y COaRA [7]. En 2023 también, la directora de ANECA circuló una carta entre todas las comisiones de evaluación de sexenios [8], para recordarles que, con la ya jurisprudencia existente:

“es el trabajo –la aportación– no la publicación el que ha de valorarse en función de si contribuye o no al progreso del conocimiento, si es o no innovador y creativo o meramente aplicativo o divulgador”

En las instrucciones para los evaluadores de proyectos del Plan Nacional 2022 se recomienda para la valoración del CV del candidato/IP:

“Producción científica: Intentamos valorar la calidad, no la cantidad. En las publicaciones, es importante estimar la contribución personal del investigador, tanto para investigadores jóvenes como para los que están en su etapa más madura.”

Todavía hay mucho por recorrer para transitar de lo cuantitativo a lo cualitativo en la evaluación de cualquier actividad intelectual/profesional, en términos de desempeño y calidad.

Evaluación inflacionaria del profesorado universitario

Un sistema de evaluación de calidad debe revisarse periódicamente, pero los criterios deben ser adaptativos y progresivos para garantizar la homologación de lo que se pretende evaluar. Recuerdo los principios de igualdad, mérito y capacidad en el acceso y en la promoción profesional del Estatuto Básico del Empleado Público [1]. El programa ACADEMIA de la ANECA [2] ha sufrido 5 revisiones desde 2008. Ciertamente, la producción científica española en los últimos 20 años ha sufrido un crecimiento exponencial en cantidad y calidad, espoleada justamente por el sistema de acreditación.

El momento coyuntural puede llevar a aplicar criterios inflacionistas incluso inconsistentes (¿bursátiles?) [11]. Sirvan de ejemplo los criterios específicos de la CNEAI, con carácter orientador, para conceder la evaluación positiva de un sexenio en el campo de Física [12], por ejemplo:

  • En el periodo 1989-1995, se proporcionaron pautas de evaluación genéricas de la actividad investigadora.
  • En 1996 fue la primera vez que se proporcionan criterios por áreas de conocimiento [13] con el siguiente texto “Como norma general, para obtener una evaluación positiva, las cinco aportaciones del curriculum vitae abreviado deberán cumplir lo descrito en los puntos anteriores. No obstante, el número mínimo de aportaciones para obtener una evaluación positiva podrá ser inferior si los trabajos aportados tienen una gran calidad y han tenido una alta repercusión científica.”
  • Estos criterios no se actualizaron hasta 2005 [14], 10 años después. En esa convocatoria se indicaba “como mínimo, necesario para superar la evaluación, dos publicaciones en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del Science Citation Index.” 2 publicaciones de alto impacto (sin indicar qué es alto impacto) bastaban. En 2002 la CNEAI publicó un informe de resultados [15].
  • En 2006 se actualizaron los criterios como sigue “se considerará como mínimo, necesario para superar la evaluación, tres publicaciones en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del «Science Citation Index».” En 1 año, 1 publicación de alto impacto más. Estos criterios se aplicaron en 2007-2009.
  • En 2010 se actualizaron sorprendentemente como sigue “con que las cinco aportaciones sean artículos publicados en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del Science Citation Index.”. En 4 años, 2 publicaciones de alto impacto más. Todas. Estos criterios se aplicaron en 2011 también.
  • En 2012 se actualizaron como sigue “al menos cuatro sean de impacto alto o tres sean de impacto alto y dos de impacto medio”. En 2 años, 1 publicación de alto impacto MENOS. Estos criterios se aplicaron hasta 2013.
  • En 2014 se especificó qué era alto/medio impacto como sigue “al menos cuatro sean de impacto alto (primer tercil) o tres sean de impacto alto (primer tercil) y dos de impacto medio (segundo tercil).” Y estos criterios son los que siguen vigentes.

Sin embargo, la evidencia de la evaluación inflacionaria del profesorado universitario está en el baremo de la ANECA para conceder las ayudas FPU (2022 y siguientes) [18]: los futuros profesores universitarios. El 30% de la puntuación final evalúa tener publicaciones Q1, haber impartido clase, participación en proyectos de investigación…