Compartimos mediante IweTel una nueva nota ThinkEPI con la finalidad de abrir su contenido al debate como sistema de revisión abierta. Esperamos vuestros comentarios y aportaciones, que a buen seguro enriquecerán el texto y generarán respuestas por parte del propio autor y de otros lectores. Se ruega que no se reproduzcan en blogs u otros medios ya que se trata de versiones provisionales que podrán ser modificadas por los autores y editores para su publicación definitiva en acceso abierto en el Anuario ThinkEPI una iniciativa de Ediciones Profesionales de la Información S.L.


Contra el pensamiento mágico de la bibliometría


Nicolás Robinson-García

Universidad de Granada

1. El punto de partida

Tomo prestado el título de este ThinkEPI de una de las diapositivas que utilizó Henk F. Moed en una de las muchas charlas que impartió en Granada1, para lanzar una reflexión sobre los continuos debates que surgen periódicamente sobre el uso de la bibliometría en la evaluación científica. En tiempos de reforma de la evaluación científica, donde el uso de indicadores cuantitativos está cada vez más cuestionado, cabe preguntarse qué se pretende cuando se propone un cambio de criterios, cuáles son las alternativas que se ofrecen y qué se gana o se pierde.

En la reciente polémica en Iwetel, a raíz de la decisión de la FECyT de incluir el uso de lenguaje inclusivo dentro de sus criterios de evaluación para obtener o renovar el Sello de Calidad de revistas, había quien criticaba a la FECyT de la imposición de ideologías feministas. Como si ignorar las desigualdades de género que existen en ciencia no fuese una posición ideológica (evidencias para escépticos: Kozlowski et al, 2021; Ni et al, 2021). La evaluación científica (independientemente de si emplea indicadores cuantitativos o no) responde siempre a una serie de presunciones y como tales, están cargadas de posicionamientos ideológicos. Por ejemplo, en el caso del uso de indicadores bibliométricas, se acepta implícitamente que:

·       los indicadores bibliométricos reflejan de manera objetiva y neutra la calidad de un trabajo,

·       el Factor de Impacto de una revista es un buen proxy del impacto potencial de un trabajo científico, o que

·       la publicación internacional es más importante que la que tiene lugar en el contexto local.

Del mismo modo optar por evaluaciones de carácter cualitativo aceptamos que:

·       sólo expertos en un ámbito pueden discernir la calidad de un trabajo,

·       la calidad o el impacto son conceptos que no se pueden operacionalizar ni identificar mediante el uso de indicadores, o que

·       la revisión por pares se ejerce de manera honesta y libre de conflictos de interés.

Entender la evaluación de la ciencia como un ámbito en el que sólo caben dos posturas: bibliometría o revisión por expertos, supone simplificar hasta el absurdo el proceso de evaluación. Y lo más peligroso, supone no discutir las cuestiones que verdaderamente afectan tanto a quien evalúa como a quien es evaluado/a: qué se pretende con dicha evaluación, de qué presunciones se parte y cuáles son los riesgos que implica. La evaluación de la actividad científica, ya sea mediante el uso de indicadores bibliométricos o cualquier otro método, es una actividad de carácter social, y por tanto, es reflejo del comportamiento humano, con sus virtudes y defectos (e.g., actitudes machistas, xenófobas, chiringuitos de poder, elitismo). Reducir las críticas a la evaluación, al uso de indicadores bibliométricos no solo es absurdo, sino peligroso. La discusión debe ser mucho más profunda y meditada y no limitarse a la selección de indicadores o conformación de baremos.

2. ¿Qué valorar y cómo valorar la actividad de los profesores universitarios?

No creo que sea necesario incidir nuevamente en las principales críticas (a veces un tanto panfletaria) que recibe la bibliometría actualmente. Lo llamativo de estas críticas es el poder que se le otorga a la bibliometría, como si de un líder despechado se tratara. Como si los factores de impacto fuesen los que otorgan plazas, acreditaciones y sexenios en la universidad. Resulta notoria la ausencia de responsabilidad o de declaración de intenciones de aquellos que están detrás de los procesos evaluativos. Fijar objetivos y comprobar si estos se cumplen debería ser el principal motivo para implementar una evaluación.

Aunque es cierto que las misiones de la universidad (docencia, investigación y transferencia) ya nos van dando una idea, establecer jerarquías entre estas misiones o esperar excelencia en todas ellas tal vez no sea lo más práctico. Para poder entender cómo otorgan valor a las actividades que hacen los profesores universitarios, lanzamos recientemente un estudio de caso donde (entre otras cosas) preguntábamos a los investigadores trabajando en universidades holandesas qué aspectos valoraban más de su trayectoria y qué aspectos valoraban de otros cuando eran ellos los evaluadores (Robinson-Garcia, et al., 2021). Por resumir, nuestros resultados fueron los siguientes:

1.     Existe una disonancia a la hora de poner en valor lo que uno hace frente a lo que se espera de los demás.

2.     A la hora de evaluar, se prefiere ir con ‘el instinto’ y utilizar entrevistas y métodos cualitativos para seleccionar a candidatos, pero cuando se es objeto de la evaluación, se buscan criterios e indicadores claros y preestablecidos.

3.     El acto de publicar con impacto se ve como un requisito o un vehículo y no como el fin último del trabajo académico.

4.     La enseñanza y la transferencia están claramente relegadas en los procesos evaluativos, siendo en ocasiones, lo más valorado por los profesores universitarios

5.     Diferencias entre las expectativas que se tienen de un investigador y su etapa/estatus académico.

3. Algunos comentarios a modo de conclusión

Volviendo nuevamente a Moed y al título de esta nota, atribuir todos los males de la evaluación a la bibliometría, no sólo es errado, sino contraproducente. El problema radica en depositar la responsabilidad de los resultados de una evaluación en unos números y no en las personas que diseñan los criterios y el uso que se hace de los propios indicadores. Los indicadores cuantitativos no solo son necesarios, sino deseables para poder establecer marcos comparativos, mínimos de rendimiento académico, entre otros2. Ciñéndonos más concretamente al caso español, concluyo con algunas ideas al respecto:

1.     No es viable implementar una evaluación cualitativa y contextualizada en un sistema centralizado que se gestiona a nivel nacional.

2.     El uso de indicadores bibliométricos será pertinente o no según el objetivo con el que se plantee una evaluación.

3.     Lo que sí es exigible siempre (sea mediante el uso de métodos cualitativos o cuantitativos) es transparencia en los procesos evaluativos. Esto no es crear baremos, pero sí hacer públicos tras la evaluación los nombres de evaluadores y los informes de los mismos.

4.     La bibliometría es una herramienta muy poderosa que utilizada correctamente puede ser muy útil para monitorizar la actividad investigadora y ayudar en el diseño de políticas científicas.

Notas

1En la siguiente web homenaje a Henk F. Moed, Daniel Torres-Salinas y un servidor recogimos los principales hitos de la relación tan especial que tuvo con la ciudad de Granada y el grupo de investigación EC3: https://sites.google.com/go.ugr.es/torressalinas/talks/moed

2Aquí conviene recomendar el libro Moed (2017), plagado de ejemplos prácticos.

Referencias

Kozlowski, Diego, Larivière, Vincent, Sugimoto, Cassidy R., & Monroe-White, Thema. (2022). “Intersectional inequalities in science”. Proceedings of the National Academy of Sciences, v. 119, n. 2. https://doi.org/10.1073/pnas.2113067119

Moed, Henk F. (2017). Applied Evaluative Informetrics. Cham: Springer, pp. 312. https://doi.org/10.1007/978-3-319-60522-7

Ni, Chaoqun, Smith, Elise, Yuan, Haimiao, Larivière, Vincent, & Sugimoto, Cassidy R. (2021). “The gendered nature of authorship”. Science Advances, v. 7, n. 36, eabe4639. https://doi.org/10.1126/sciadv.abe4639

Robinson-Garcia, Nicolas, Costas, Rodrigo, Nane, Gabriela F., & van Leeuwen, Thed N. (2021). “Valuation regimes in academia: Researchers’ attitudes towards their diversity of activities and academic performance”. SocArXiv


-------------------------------------------------------------------------------------------

Compartimos mediante IweTel una nueva nota ThinkEPI con la finalidad de abrir su contenido al debate como sistema de revisión abierta. Esperamos vuestros comentarios y aportaciones, que a buen seguro enriquecerán el texto y generarán respuestas por parte del propio autor y de otros lectores. Se ruega que no se reproduzcan en blogs u otros medios ya que se trata de versiones provisionales que podrán ser modificadas por los autores y editores para su publicación definitiva en acceso abierto en el Anuario ThinkEPI una iniciativa de Ediciones Profesionales de la Información S.L.

-------------------------------------------------------------------------------------------






Anuario ThinkEPI 2022

https://thinkepi.profesionaldelainformacion.com/


Para darse de baja de IWETEL haga clic AQUI