Buenos días:

Al hilo del siempre bienvenido Thinkepi de Repiso y Montero, aprovecho para haceros llegar el documento que, como en años anteriores, hemos preparado en la Pablo de Olavide con un primer análisis de los criterios hechos públicos por ANECA (este año, de momento, en versión borrador) por si puede ser de interés para profundizar un poco más en ellos, sobre todo en el caso de quienes aún no los hayan leído.

Delgado-Vázquez, Ángel M. Sexenios 2023: principales cambios. noviembre de 2023. UUniversidad Pablo de Olavide. Biblioteca/CRAI. https://rio.upo.es/xmlui/handle/10433/16707

Saludos cordiales,

Ángel D.

Marca Principal UPO Horizontal


Ángel M. Delgado Vázquez
Jefe de Servicio de Soporte al Aprendizaje y la Investigación
Biblioteca/CRAI
Telf. 608 692 974 - Interno: 2974

Ctra. de Utrera, km1, 41013 Sevilla – España

[log in para visualizar] - www.upo.es/biblioteca
 [log in para visualizar]" height="33" width="34">https://orcid.org/0000-0003-2461-8553

[log in para visualizar]" height="36" width="42">@amdelvaz @bibupo

 

* Cláusula de Protección de Datos de Carácter Personal y recomendación medioambiental

Sus datos personales contenidos en esta comunicación y los que nos facilite son tratados por la Universidad Pablo de Olavide, en calidad de responsable del tratamiento, con la finalidad de realizar la gestión, seguimiento y mantenimiento de los contactos y relaciones que se produzcan como consecuencia de la relación que mantiene con la UPO, con base jurídica en una causa que legitime dicho tratamiento.

 

Puede ejercitar sus derechos de acceso, rectificación, supresión y portabilidad de los datos, de limitación y oposición a su tratamiento, así como a no ser objeto de decisiones basadas únicamente en el tratamiento automatizado de sus datos, cuando procedan. Dispone de información adicional sobre el ejercicio de estos y otros derechos, en relación con sus datos personales, así como sobre la política de privacidad de la UPO, en la siguiente dirección:

https://www.upo.es/rectorado/secretaria-general/proteccion-de-datos/

 

Antes de imprimir este correo piense si es necesario, el medioambiente es cosa de todos.



El vie, 10 nov 2023 a las 8:32, ThinkEPI ThinkEPI (<[log in para visualizar]>) escribió:


Transformaciones y desafíos en la evaluación de la investigación universitaria en España: una mirada crítica a la evolución de los sexenios


Rafael Repiso
https://orcid.org/0000-0002-2803-7505

Universidad de Málaga

[log in para visualizar]

Julio Montero
https://orcid.org/0000-0002-4145-7424

Universidad Internacional de la Rioja
[log in para visualizar]


La apuesta por la ciencia abierta actual tiene ramificaciones positivas, una de ellas es la publicación del borrador de los criterios que se van a utilizar en la próxima edición de los sexenios de investigación que comenzará en poco más de un mes. Sirva este trabajo para contextualizar y comprender mejor qué aportan los nuevos cambios, qué eran los sexenios de investigación en su origen, cómo han ido evolucionando y hacia dónde parece que se dirigen. Queremos que se entienda como una crítica constructiva que aporte a la consolidación del proyecto. Para comenzar, hay que agradecer los cambios, aun cuando seamos críticos con algunos. Es mejor este espíritu de cambios que en el inmovilismo de los últimos años frente a una realidad cambiante y con elementos muy amenazantes.

En 1989 se crearon los sexenios de investigación en el mundo académico español. Pocas iniciativas administrativas han tenido tanta influencia en el trabajo de los profesores universitarios en el ámbito de la investigación. Más aún: probablemente ninguna iniciativa en el ámbito universitario se haya empleado con fines más diversos que los sexenios. Nacieron de una necesidad, la progresiva y ya preocupante reducción de la capacidad adquisitiva de los profesores funcionarios. Por entonces ya eran incapaces de mantener el tono social que exigía su profesión, situada en el más alto nivel de la administración pública en el caso de los catedráticos, con los sueldos que percibían. También deben a una limitación presupuestaria su definición precisa: un complemento económico que no afecta al sueldo base. Y, además, un complemento modesto que ha mantenido ese carácter (el de modesto) hasta la actualidad. En fin: un intento de reducir la brecha salarial de nuestros académicos ante los del resto de Europa Occidental.

Este beneficio se aplicaba a la vez a un intento de estimular la producción científica española que se centraba en un 80% en la que desarrollaban las universidades. Se aplicó inicialmente a catedráticos, agregados y titulares. Estos cuerpos tenían atribuida plena capacidad docente e investigadora; no en vano, habían superado las pruebas de la oposición correspondientes ante tribunales conformados por diversos sistemas. Con variaciones en cada época, dominó el factor sorteo, aunque entre un número bastante reducido de candidatos. Por  entonces los catedráticos eran relativamente pocos (o poquísimos) comparados con las cifras actuales. La antigüedad pareció un indicador suficiente para que se ganaran los méritos (y los complementos correspondientes) docentes: eso eran por entonces los quinquenios. Quedaba la investigación como la otra actividad académica sobre la que apoyar un refuerzo económico más a unos sueldos escuálidos.

Esta decisión de “premiar” la investigación -a diferencia de la docencia- exigió una organización con criterios y “jueces” que justificara su adjudicación. Hay que tener en cuenta que por aquellos tiempos el mundo académico no hacía demasiadas distinciones en la literatura especializada que generaba: manuales, libros de divulgación, investigación neta (la que aporta una innovación en un campo determinado), erudición, ensayismo, etc. (especialmente en el ámbito de las humanidades y de las ciencias sociales) se consideraba producción académica sin mayores matizaciones. Sí estaba clara en las áreas de las ciencias positivas y de la salud. De hecho, en las iniciales atribuciones de sexenios, predominó la evaluación “cualitativa”. Dicho de otro modo, cada comisión decidía de modo bastante autónomo qué era investigación y qué no lo era.  

En cualquier caso, este complemento, inicialmente exclusivo para el profesorado funcionario, se abría la posibilidad de desarrollar una carrera científica en el contexto de cada área que se premiara con una remuneración extra y acumulable cada seis años, el Sexenio de Investigación. No hay que olvidar además que estos años iniciales, previos al siglo XXI, fueron los de crecimiento continuado del profesorado universitario por la multiplicación de centros estatales y privados por todo el país. El sexenio facilitó la visualización de la actividad investigadora de una creciente masa de investigadores. También el establecimiento de una primera valoración externa de su trabajo, al margen de escuelas y tendencias, aunque en ciencias sociales estas últimas mantuvieron su peso en las comisiones evaluadoras durante tiempo en las áreas de humanidades, ciencias sociales y derecho.

Ya se ha avanzado que la tradición investigadora y su carácter homologable con la europea y en general la occidental, era muy distinta en cada disciplina. Por ejemplo, en Química, ya desde los años 80, la producción científica española medida en artículos en revistas internacionales de calidad era significativa. En el ámbito de las humanidades predominaba, y era normal por las temáticas que se investigaban, la mayoría de las publicaciones tenían una audiencia eminentemente nacional, muchas veces regional e incluso local. En términos generales los académicos españoles estaban poco versados en los conceptos básicos de valoración de revistas y editoriales internacionales. De hecho, el peso de las primeras se medía habitualmente por el prestigio de la universidad o de la asociación internacional que las editaba o sostenía. Por supuesto en cada área había bases de datos de publicaciones específicas y propias y los términos “JCR” o similares requerían explicación previa en las sesiones informativas sobre indicadores de calidad de las publicaciones científicas.

A partir aproximadamente del año 2000 y sin que se pueda afirmar que respondió a una estrategia de los ministerios correspondientes, se observa que los requisitos para la obtención de los sexenios se hicieron progresivamente más exigentes en cada área. Por supuesto eran -y son- bastante diferentes en función del punto de partida dominante en la actividad investigadora en cada uno. Y el “efecto sexenio” mejoró en términos generales y de manera progresiva la actividad científica española en todos los campos, aunque a ritmos diversos. A partir de esa fecha fue habitual que los criterios incrementaran sus exigencias cuando el porcentaje de sexenios aprobados en cada área superaban un porcentaje significativo, en torno al 70-80%.

Los siguientes 20 años se caracterizaron por una reformulación del modelo evaluativo de los méritos. El proceso dependió inicialmente del punto de partida. Desde la objetividad de las comisiones de Ciencia que se basaron principalmente en la presencia de artículos en las revistas del ya desaparecido ISI (ahora Web of Science), hasta las comisiones de humanidades y derecho donde la evaluación era casi absolutamente “cualitativa” y dependía en cada caso de los criterios particulares de los académicos que la componían entre los que podían (y pudieron) tener un peso significativo las vinculaciones a escuelas determinadas. Además, se permitió que, por convenio, las universidades privadas y las públicas pudiesen contratar la evaluación a  sus profesores indefinidos.

El primer subrayado de la importancia de los sexenios de investigación, aparte de la modesta  mejora económica que supusieron, se produjo cuando la nueva ley de universidades estableció que los tribunales de habilitación de titulares y catedráticos debían estar compuestos por profesores con al menos dos sexenios, lo que en muchas áreas redujo la lista de sorteables a relaciones breves. Puso de manifiesto que eran muchos los profesores que no estaban dispuestos a someter su actividad investigadora a la evaluación de sus compañeros de comisión. Respondían a una cultura académica funcionarial en la que la llegada a su posición la marcaba solo el ejercicio de acceso, la oposición. Una vez allí, decían se alcanzaba la situación de “examinador no examinado”. Fueron los años de transición hacia un sistema de evaluación continua, que fue la auténtica línea de ruptura entre la “nueva” y la “vieja” universidad.

Este primer carácter discriminatorio de los sexenios dividió al profesorado funcionario español en dos categorías: los que tenían sexenios y los que no. Marginaba a los segundos en el control del acceso a la profesión académica y situaba la investigación como “conditio sine qua non” en el protagonismo y control de la vida universitaria. La administración priorizó la investigación como característica esencial de la universidad, asumiendo implícitamente la competencia en docencia. Así, el sexenio emergió como el principal indicador de la investigación y la excelencia académica.

Esta opción administrativa preferencial por la investigación en la vida universitaria se asimiló de muy diversas maneras y tuvo efectos variados. De entrada, se abrió en el profesorado una lucha por la claridad y transparencia de los criterios que conducían a la aprobación o negación de los sexenios, que tuvo una importancia fundamental en el ámbito de las ciencias sociales. Más aún, los ritmos de asimilación de las exigencias en cada subárea (economía, empresa, educación, sociología, antropología, ciencia política, documentación, comunicación, geografía, etc.) fueron -y son- bastante diferentes. En derecho, campo evaluativo por excelencia, se decidió establecer unos propios. Más problemas planteaba inicialmente el mundo de las humanidades, donde la tradición del libro en la presentación de los resultados de investigación parecía, en general, un vehículo más adecuado que el artículo especializado (y limitado).

La solución de este problema excedía la simple evaluación de unos méritos personales ya se ha visto. Y ese proceso de afianzamiento del protagonismo de la investigación ocupó posiciones cada vez más relevantes. La siguiente “vuelta de tuerca” fue la introducción del concepto de “Sexenio vivo”. La nueva ley que reguló los programas de doctorado exigía que un mínimo del 60% de su profesorado tuviera esta condición, excluyendo a un grupo que hasta entonces no había tenido problemas en dirigir tesis. Por si fuera poco, el llamado decreto Werth, estableció que aquellos que no tuviesen un sexenio vivo podrían ver ampliada su docencia, a titulares y catedráticos con 3 y 4 sexenios, estando el último vivo, se le reduciría. La importancia del sexenio en la vida universitaria se había transformado de un simple complemento retributivo a condición esencial de la carrera académica.

Consecuente, y paradójicamente, el “sexenio” y sus méritos pasaron a convertirse en un objetivo en vez de constituir simplemente un indicador. En parte este proceso fue inevitable. Es más asequible, y sobre todo más rápido, actuar sobre el indicador como objetivo que cambiar hábitos y formas de trabajo. Eso para un sector de la generación de profesores universitarios tradicionales. Este aspecto no es el peor del proceso indicador-objetivo. Lo realmente negativo ha sido el auge de una “cultura del indicador” de la investigación y no de la investigación.

Estos procesos se han entrelazado con prácticas razonables. Por ejemplo, las dificultades que presentaba la plataforma informática para la gestión de los sexenios, la necesidad de dar cuenta de conceptos que no eran parte del vocabulario habitual de algunos profesores, la resistencia numantina a leer las instrucciones y ajustarse a los formularios y la falta de tiempo a tareas que se consideraban administrativas (y lo eran) y quizá otras de carácter personal facilitaron la aparición de empresas dedicadas al asesoramiento para realizar los procesos de solicitud (Sexenios.com como pionera). Resolvieron y resuelven problemas prácticos. Pero el asunto clave no es cómo cumplimentar una solicitud sino tener la producción que se pueda incluir. Y la solución de esta “dificultad” abrió la puerta a los fraudes.

La fabricación de méritos comenzó a ser rentable para acelerar la carrera universitaria. Y se empezaron a multiplicar los fraudes para obtener los méritos concretos: congresos que pactaban la publicación de las actas en revistas indexadas, pago por publicación de libros -sin ningún control de calidad por parte de los coordinadores o editores- incluso en editoriales de prestigio que probablemente nunca verán una librería (literatura gris), congresos cuyas actas se convierten en libros de los anteriores, editoriales depredadoras, fábricas de artículos, etc.

El otro tipo de problemas que ocasionó el protagonismo del sexenio y sus méritos se centró más en las áreas  de Ciencias Sociales y Humanidades. Tanto los miembros de las comisiones (tan profesores como los compañeros a los que evaluaban) como los solicitantes clamaban por el establecimiento de criterios objetivos en los que apoyarse: unos para evaluar, otros para orientar su consecución. En buena parte, ese es el origen de los primeros productos de evaluación de revistas como In-RECS o DICE. Les siguió una segunda generación como MIAR, CIRC, Sello FECYT o Dialnet Métricas. La realidad es que, hasta el cambio de siglo, los sexenios de investigación no se valoraban demasiado (el incremento de ingresos que suponían era tan reducido que algunos profesores incluso los despreciaron). De hecho, un porcentaje relativamente alto de profesores no los había solicitado o simplemente no los tenían. Tener sexenios era cosa de unos relativamente pocos académicos.

La aparición de Scopus (2004) y la inclusión masiva de revistas españolas en la Web of Science en el año 2008, tras la firma del convenio nacional, aumentó el número de trabajos internacionales de los académicos españoles, especialmente en las áreas de Ciencias Sociales y Humanidades. Siete años después, en 2015, se creó la base de datos Emerging Source Citation Index de Web of Science. Esto multiplicó la presencia de autores españoles en este producto. El resumen de estos años fue que gracias a la indexación de revistas españolas en bases de datos internacionales los autores nacionales comenzaron a tener una gran presencia en bases de datos científicas internacionales, pero no tanto por la calidad de los trabajos, sino por la indexación masiva de revistas españolas. En cualquier caso, estas políticas condujeron a que la producción científica internacional española se incrementara notablemente.

Desde el acceso al poder de la coalición gobernante (2019-2023) se ha producido un parón en la actualización y ajuste al alza  de los criterios. De hecho, las tasas de aprobación rozan el 100%. El orgullo que muestra la administración ante estos datos es paralelo al que demostró el presidente de la CRUE ante el “éxito” de los exámenes online tras la pandemia: paradójicamente la universidad española era mejor sin clases, al menos los estudiantes hicieron -según este organismo- mejor los exámenes. Si todos alcanzan el sexenio probablemente, en la misma lógica, la ciencia española esté a su mejor nivel, a pesar de que los indicadores de calidad digan lo contrario. Quizá sea un efecto de la imparable democratización de la excelencia. Otro hito que destacar fue que CNEAI fue traspasada a la ANECA.

Es verdad que, ante la evidencia de malas prácticas, algunas comisiones de la ANECA hicieron un intento de limitar la incidencia de la valoración de aportaciones en megajournals de editoriales cuestionadas (MDPI, Hindawi y Frontiers). Pero retrocedió frente a la oposición de la comunidad investigadora y las amenazas legales de las editoriales afectadas. La inacción final ante estos fraudes ha producido una multiplicación de estos. La respuesta oficiosa es la consolidación de expresiones como la de “catedrático MDPI” en el lenguaje oficioso de los académicos. Un modo de denuncia irónica de la podredumbre del sistema.

La última propuesta, que se ha publicado como borrador, es de entrada, una puerta abierta la ambigüedad que supone caminar en sentido contrario a la tendencia que hasta ahora se ha seguido.  En principio, deja en manos de las comisiones la interpretación de los méritos, ya que elimina la concreción pretérita. La moda de la “bibliometría narrativa” de poco sirve si el evaluador no es un experto en métricas científicas y en su área: trasladar el análisis experto a la narración del solicitante es una solución incompleta y peligrosa que puede desembocar en un estilo literario nueva, el realismo mágico bibliométrico. Eso sin contar con que los propios solicitantes serán incapaces en muchos casos de incluir esas precisiones en sus solicitudes. Puede que la primera consecuencia (para poder solicitar el sexenio) sea buscar una empresa que esté en condiciones de hacerlo correcta y adecuadamente. Difícil valorar esto como una mejora.

En cualquier caso, de la propuesta hay que destacar 10 hechos:

  1. CNEAI-ANECA incrementa la ambigüedad en la interpretación de los méritos, pero aumenta la indefensión d ellos solicitantes. Huye sí del falso cientifismo del Factor de impacto de las revistas, pero deja en manos de las comisiones la interpretación de la mayor parte del mérito. Se adopta la propuesta marginal “Bibliometría narrativa” como eje de la evaluación científica como respuesta un modelo híbrido de evaluación, cuantitativa y cualitativa. Quizá late un prejuicio: confundir la valoración cualitativa con la subjetiva. Porque es posible una valoración cualitativa contrastable con datos, sin recurrir a la “narrativa”.
  2. CNEAI-ANECA recupera el campo 0, para méritos interdisciplinares. Sin embargo, no define la interdisciplinariedad, que puede ampararse en la colaboración disciplinar múltiple.
  3. CNEAI-ANECA aumenta los posibles méritos evaluables, especialmente significativos en las áreas más periféricas de la universidad, como las bellas artes o la música donde se puede valorar la creación o sintetización de instrumentos.  Los nuevos méritos que se aceptan se alimentan claramente de las taxonomías de méritos creadas para el Sexenio de Transferencia, lo que será un problema si un día se oficializa este.
  4. CNEAI-ANECA intenta adaptar los criterios COARA – DORA a la forma anterior de evaluar los méritos, incorporando dos “capas” más de información a rellenar, 1) métricas a nivel de artículo y difusión en abierto del artículo y sus componentes. 
  5. CNEAI-ANECA ha renunciado a incrementar el nivel científico de las áreas, política tomada en la actual administración. El éxito ya no se mide en la calidad de los trabajos resultados, sino en el porcentaje de profesores aprobados, lo que genera un triste paralelismo con la selectividad.
  6. CNEAI-ANECA prácticamente ha renunciado a expulsar las malas prácticas científicas, endogamia, publicaciones en megajournals sospechosas, editoriales de vanidad, etc.
  7. CNEAI-ANECA parece valorar solamente las bases de datos que incluyan impacto de sus artículos con la posibilidad de ser relativizado. En Anexo destacan productos con pleno valor como Web of Science (Incites), Scopus (SciVal), Dialnet Métricas y Dimensions.
  8. CNEAI-ANECA introduce las altmétricas como valores que refleja la repercusión de un trabajo, pese a ser indicadores fácilmente manipulables en un contexto caracterizado por la abundancia de fraudes.
  9. CNEAI–ANECA potencia el uso del registro de las contribuciones de autor según la taxonomía CRediT (Contributor Roles Taxonomy), lo que estimulará su adopción en revistas científicas españolas. Esta es una decisión que mejora notablemente la transparencia y permitirá evaluar con precisión la aportación de los autores, lo que puede reducir algunos fraudes de autoría.  
  10. CNEAI–ANECA quiere estimular la publicación de los resultados científicos de forma abierta, ya sea a través de la publicación en revistas de acceso abierto, o de preprints y datasets en repositorios.  

En estos 34 años, el sexenio de investigación ha pasado de ser un mérito de excelencia a uno de suficiencia, de un instrumento para incrementar la calidad de la ciencia, a uno que potencia las políticas de ciencia abierta, con y sin calidad. El espacio de valor de indicador que ha dejado el sexenio de investigación deberá pronto ser ocupado por otro reconocimiento si queremos ser capaces de identificar a los académicos que realizan investigación de primer orden dentro de la creciente masa académica. 









Para darse de baja de IWETEL haga clic AQUI



Para darse de baja de IWETEL haga clic AQUI