IWETEL Archivos

Foro para profesionales de bibliotecas y documentacion.

IWETEL@LISTSERV.REDIRIS.ES

Opciones: Vista Forum

Use Monospaced Font
Mostrar las partes HTML
Mostrar todas las cabeceras de correo

Mensaje: [<< Primero] [< Prev] [Siguiente >] [Último >>]
Tema: [<< Primero] [< Prev] [Siguiente >] [Último >>]
Autor: [<< Primero] [< Prev] [Siguiente >] [Último >>]

Print Responder
Subject:
Emisor:
ThinkEPI ThinkEPI <[log in para visualizar]>
Reply To:
ThinkEPI ThinkEPI <[log in para visualizar]>
Fecha:
Tue, 5 Jul 2022 09:55:47 +0200
Content-Type:
multipart/alternative
Parts/Attachments:
text/plain (9 kB) , text/html (20 kB)
Compartimos mediante IweTel una nueva nota ThinkEPI con la finalidad de
abrir su contenido al debate como sistema de revisión abierta. Esperamos
vuestros comentarios y aportaciones, que a buen seguro enriquecerán el
texto y generarán respuestas por parte del propio autor y de otros
lectores. Se ruega que no se reproduzcan en blogs u otros medios ya que se
trata de versiones provisionales que podrán ser modificadas por los autores
y editores para su publicación definitiva en acceso abierto en el Anuario
ThinkEPI
<https://thinkepi.profesionaldelainformacion.com/index.php/ThinkEPI/index>
una iniciativa de Ediciones Profesionales de la Información S.L.

*Contra el pensamiento mágico de la bibliometría*


*Nicolás Robinson-García*

Universidad de Granada
1. El punto de partida

Tomo prestado el título de este ThinkEPI de una de las diapositivas que
utilizó Henk F. Moed en una de las muchas charlas que impartió en Granada1,
para lanzar una reflexión sobre los continuos debates que surgen
periódicamente sobre el uso de la bibliometría en la evaluación científica.
En tiempos de reforma de la evaluación científica, donde el uso de
indicadores cuantitativos está cada vez más cuestionado, cabe preguntarse
qué se pretende cuando se propone un cambio de criterios, cuáles son las
alternativas que se ofrecen y qué se gana o se pierde.

En la reciente polémica en Iwetel, a raíz de la decisión de la FECyT de
incluir el uso de lenguaje inclusivo dentro de sus criterios de evaluación
para obtener o renovar el Sello de Calidad de revistas, había quien
criticaba a la FECyT de la imposición de ideologías feministas. Como si
ignorar las desigualdades de género que existen en ciencia no fuese una
posición ideológica (evidencias para escépticos: *Kozlowski** et al*, 2021;
*Ni** et al*, 2021). La evaluación científica (independientemente de si
emplea indicadores cuantitativos o no) responde siempre a una serie de
presunciones y como tales, están cargadas de posicionamientos ideológicos.
Por ejemplo, en el caso del uso de indicadores bibliométricas, se acepta
implícitamente que:

·       los indicadores bibliométricos reflejan de manera objetiva y neutra
la calidad de un trabajo,

·       el Factor de Impacto de una revista es un buen proxy del impacto
potencial de un trabajo científico, o que

·       la publicación internacional es más importante que la que tiene
lugar en el contexto local.

Del mismo modo optar por evaluaciones de carácter cualitativo aceptamos que:

·       sólo expertos en un ámbito pueden discernir la calidad de un
trabajo,

·       la calidad o el impacto son conceptos que no se pueden
operacionalizar ni identificar mediante el uso de indicadores, o que

·       la revisión por pares se ejerce de manera honesta y libre de
conflictos de interés.

Entender la evaluación de la ciencia como un ámbito en el que sólo caben
dos posturas: bibliometría o revisión por expertos, supone simplificar
hasta el absurdo el proceso de evaluación. Y lo más peligroso, supone no
discutir las cuestiones que verdaderamente afectan tanto a quien evalúa
como a quien es evaluado/a: qué se pretende con dicha evaluación, de qué
presunciones se parte y cuáles son los riesgos que implica. La evaluación
de la actividad científica, ya sea mediante el uso de indicadores
bibliométricos o cualquier otro método, es una actividad de carácter
social, y por tanto, es reflejo del comportamiento humano, con sus virtudes
y defectos (e.g., actitudes machistas, xenófobas, chiringuitos de poder,
elitismo). Reducir las críticas a la evaluación, al uso de indicadores
bibliométricos no solo es absurdo, sino peligroso. La discusión debe ser
mucho más profunda y meditada y no limitarse a la selección de indicadores
o conformación de baremos.
2. ¿Qué valorar y cómo valorar la actividad de los profesores
universitarios?

No creo que sea necesario incidir nuevamente en las principales críticas (a
veces un tanto panfletaria) que recibe la bibliometría actualmente. Lo
llamativo de estas críticas es el poder que se le otorga a la bibliometría,
como si de un líder despechado se tratara. Como si los factores de impacto
fuesen los que otorgan plazas, acreditaciones y sexenios en la universidad.
Resulta notoria la ausencia de responsabilidad o de declaración de
intenciones de aquellos que están detrás de los procesos evaluativos. Fijar
objetivos y comprobar si estos se cumplen debería ser el principal motivo
para implementar una evaluación.

Aunque es cierto que las misiones de la universidad (docencia,
investigación y transferencia) ya nos van dando una idea, establecer
jerarquías entre estas misiones o esperar excelencia en todas ellas tal vez
no sea lo más práctico. Para poder entender cómo otorgan valor a las
actividades que hacen los profesores universitarios, lanzamos recientemente
un estudio de caso donde (entre otras cosas) preguntábamos a los
investigadores trabajando en universidades holandesas qué aspectos
valoraban más de su trayectoria y qué aspectos valoraban de otros cuando
eran ellos los evaluadores (*Robinson-Garcia*, et al., 2021). Por resumir,
nuestros resultados fueron los siguientes:

1.     Existe una disonancia a la hora de poner en valor lo que uno hace
frente a lo que se espera de los demás.

2.     A la hora de evaluar, se prefiere ir con ‘el instinto’ y utilizar
entrevistas y métodos cualitativos para seleccionar a candidatos, pero
cuando se es objeto de la evaluación, se buscan criterios e indicadores
claros y preestablecidos.

3.     El acto de publicar con impacto se ve como un requisito o un
vehículo y no como el fin último del trabajo académico.

4.     La enseñanza y la transferencia están claramente relegadas en los
procesos evaluativos, siendo en ocasiones, lo más valorado por los
profesores universitarios

5.     Diferencias entre las expectativas que se tienen de un investigador
y su etapa/estatus académico.
3. Algunos comentarios a modo de conclusión

Volviendo nuevamente a Moed y al título de esta nota, atribuir todos los
males de la evaluación a la bibliometría, no sólo es errado, sino
contraproducente. El problema radica en depositar la responsabilidad de los
resultados de una evaluación en unos números y no en las personas que
diseñan los criterios y el uso que se hace de los propios indicadores. Los
indicadores cuantitativos no solo son necesarios, sino deseables para poder
establecer marcos comparativos, mínimos de rendimiento académico, entre
otros2. Ciñéndonos más concretamente al caso español, concluyo con algunas
ideas al respecto:

1.     No es viable implementar una evaluación cualitativa y
contextualizada en un sistema centralizado que se gestiona a nivel nacional.

2.     El uso de indicadores bibliométricos será pertinente o no según el
objetivo con el que se plantee una evaluación.

3.     Lo que sí es exigible siempre (sea mediante el uso de métodos
cualitativos o cuantitativos) es transparencia en los procesos evaluativos.
Esto no es crear baremos, pero sí hacer públicos tras la evaluación los
nombres de evaluadores y los informes de los mismos.

4.     La bibliometría es una herramienta muy poderosa que utilizada
correctamente puede ser muy útil para monitorizar la actividad
investigadora y ayudar en el diseño de políticas científicas.
Notas

1En la siguiente web homenaje a Henk F. Moed, Daniel Torres-Salinas y un
servidor recogimos los principales hitos de la relación tan especial que
tuvo con la ciudad de Granada y el grupo de investigación EC3:
https://sites.google.com/go.ugr.es/torressalinas/talks/moed

2Aquí conviene recomendar el libro *Moed* (2017), plagado de ejemplos
prácticos.
Referencias

*Kozlowski, Diego, Larivière, Vincent, Sugimoto, Cassidy R., &
Monroe-White, Thema.* (2022). “Intersectional inequalities in science”.*
Proceedings of the National Academy of Sciences*, v. 119, n. 2.
https://doi.org/10.1073/pnas.2113067119

*Moed, Henk F.* (2017). *Applied Evaluative Informetrics*. Cham: Springer,
pp. 312. https://doi.org/10.1007/978-3-319-60522-7

*Ni, Chaoqun, Smith, Elise, Yuan, Haimiao, Larivière, Vincent, & Sugimoto,
Cassidy R.* (2021). “The gendered nature of authorship”. *Science Advances*,
v. 7, n. 36, eabe4639. https://doi.org/10.1126/sciadv.abe4639
*Robinson-Garcia, Nicolas, Costas, Rodrigo, Nane, Gabriela F., & van
Leeuwen, Thed N.* (2021). “Valuation regimes in academia: Researchers’
attitudes towards their diversity of activities and academic performance”.
*SocArXiv*


------------------------------------------------------------
-------------------------------

Compartimos mediante IweTel una nueva nota ThinkEPI con la finalidad de
abrir su contenido al debate como sistema de revisión abierta. Esperamos
vuestros comentarios y aportaciones, que a buen seguro enriquecerán el
texto y generarán respuestas por parte del propio autor y de otros
lectores. Se ruega que no se reproduzcan en blogs u otros medios ya que se
trata de versiones provisionales que podrán ser modificadas por los autores
y editores para su publicación definitiva en acceso abierto en el Anuario
ThinkEPI
<https://thinkepi.profesionaldelainformacion.com/index.php/ThinkEPI/index>
una iniciativa de Ediciones Profesionales de la Información S.L.

-------------------------------------------------------------------------------------------





*Anuario ThinkEPI 2022*
[log in para visualizar]
https://thinkepi.profesionaldelainformacion.com/


ATOM RSS1 RSS2