Saltar al contenido principal

Evaluar la investigación más allá de la bibliometría

El 17 de mayo de 2013 se hizo pública la llamada Declaración de San Francisco sobre la Evaluación de la Investigación (San Francisco Declaration on Research Assessment, DORA) [1], un documento que critica abiertamente el uso de índices de impacto en la evaluación de la investigación y que está siendo apoyado por cada vez más científicos e instituciones.

La evaluación de la investigación siguiendo parámetros ordenados y controlados por empresas privadas como Thomson-Reuters es un escenario muy parecido a la viabilidad para financiación de los países siguiendo calificaciones de agencias (privadas) de rating. Los que formamos parte del sistema público de investigación hemos asimilado, sin apenas resistencia, las consignas y prácticas que una serie de sesudos asesores y expertos decidieron proponer para hacer la ciencia española, y mundial, más competitiva (¿ciencia competitiva? ¿rentabilidad científica? posible oxímoron), detrás de ideas como transferencia generadora de valor económico/social, excelencia y retos de la sociedad. Manejamos términos economicistas y de estándares como producción científica (¿por qué no difusión o divulgación?), indicios de calidad, rankings de universidades/revistas. Somos más resultadistas, valorando curricula según el número de artículos publicados, coautores, tesis dirigidas, proyectos liderados y su financiación, la posición de revistas en áreas (primer cuartil/tercil) o el valor del índice de Hirsch (h).

Imagine que en 1961 tuviera que decidir entre contratar a un tal D. Fulano (con 15 artículos) o a D. Mengano (con 6 artículos), ¿a quién contrataría? Imagine que en 2013 tuviera que contratar a D. Fulano, con 19 artículos indexados (ISI), 1373 citas máximas en un artículo y h=10, o a D. Mengano, con 27 artículos indexados (ISI), h=28 y 1108 citas máximas en un artículo, ¿a quién contrataría? Fulano es el escocés Peter W. Higgs y Mengano es el belga François Englert y fueron los dos galardonados con el Premio Nobel de Física 2013. Otro ejemplo es la holandesa Saskia Sassen (Premio Príncipe de Asturias de Ciencias Sociales 2013), no tiene ni una publicación JCR, pero ha publicado libros e informes, fruto de proyectos de investigación que son referencias fundamentales y ha publicado numerosos artículos en medios de gran difusión. Esta investigadora decidió no publicar artículos estandarizados sin interés ni lectores, más allá de círculos de amigos de citación mutua.

Evaluación inflacionaria del profesorado universitario

Un sistema de evaluación de calidad debe ser periódicamente revisable, pero los criterios deben ser adaptativos y progresivos para garantizar la homologación de lo que se pretende evaluar. Recuerdo los principios de igualdad, mérito y capacidad en el acceso y en la promoción profesional del Estatuto Básico del Empleado Público [1]. El programa ACADEMIA de la ANECA [2] ha sufrido 3 revisiones desde 2008 [3], [4], [5]. Desde 2014 [6], la tendencia a la baja en acreditaciones positivas de CU y TU en el campo de Ciencias, por ejemplo, es notable, llegando por debajo de las 200 por año [7][8][9]. Ciertamente, la producción científica española en los últimos 10 años ha sufrido un crecimiento exponencial en cantidad y calidad, espoleada justamente por el sistema de acreditación, y esa misma tendencia pero inversa es la que parece observarse en las acreditaciones positivas. A finales de 2019, la ANECA revisó los criterios de acreditación [10].

El momento coyuntural puede llevar a aplicar criterios inflacionistas incluso inconsistentes (¿bursátiles?) [11]. Sirvan de ejemplo los criterios específicos de la CNEAI, con carácter orientador, para conceder la evaluación positiva de un sexenio en el campo de Física [12], por ejemplo:

  • En el periodo 1989-1995, se proporcionaron pautas de evaluación genéricas de la actividad investigadora.
  • En 1996 fue la primera vez que se proporcionan criterios por áreas de conocimiento [13] con el siguiente texto “Como norma general, para obtener una evaluación positiva, las cinco aportaciones del curriculum vitae abreviado deberán cumplir lo descrito en los puntos anteriores. No obstante, el número mínimo de aportaciones para obtener una evaluación positiva podrá ser inferior si los trabajos aportados tienen una gran calidad y han tenido una alta repercusión científica.”
  • Estos criterios no se actualizaron hasta 2005 [14], 10 años después. En esa convocatoria se indicaba “como mínimo, necesario para superar la evaluación, dos publicaciones en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del Science Citation Index.” 2 publicaciones de alto impacto (sin indicar qué es alto impacto) bastaban. En 2002 la CNEAI publicó un informe de resultados [15].
  • En 2006 se actualizaron los criterios como sigue “se considerará como mínimo, necesario para superar la evaluación, tres publicaciones en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del «Science Citation Index».” En 1 año, 1 publicación de alto impacto más. Estos criterios se aplicaron en 2007-2009.
  • En 2010 se actualizaron sorprendentemente como sigue “con que las cinco aportaciones sean artículos publicados en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del Science Citation Index.”. En 4 años, 2 publicaciones de alto impacto más. Todas. Estos criterios se aplicaron en 2011 también.
  • En 2012 se actualizaron como sigue “al menos cuatro sean de impacto alto o tres sean de impacto alto y dos de impacto medio”. En 2 años, 1 publicación de alto impacto MENOS. Estos criterios se aplicaron hasta 2013.
  • En 2014 se especificó qué era alto/medio impacto como sigue “al menos cuatro sean de impacto alto (primer tercil) o tres sean de impacto alto (primer tercil) y dos de impacto medio (segundo tercil).” Y estos criterios son los que siguen vigentes.

Más info de resultados de la CNEAI (2002-2005) [16]. Si quiere manejar estadísticas del 2017, visite [17]