Uso sospechoso no declarado de la inteligencia artificial en la literatura académica

Glynn, Alex. «Suspected Undeclared Use of Artificial Intelligence in the Academic Literature: An Analysis of the Academ-AI Dataset.» arXiv, November 2024. https://arxiv.org/abs/2411.15218.

Desde que las herramientas de inteligencia artificial generativa (IA), como ChatGPT de OpenAI, se hicieron ampliamente disponibles, los investigadores han comenzado a utilizarlas en el proceso de escritura. El consenso de la comunidad editorial académica es que dicho uso debe ser declarado en el artículo publicado. Academ-AI documenta ejemplos de uso sospechoso de IA no declarado en la literatura académica, lo cual se puede discernir principalmente debido a la aparición en los artículos de investigación de un lenguaje característico de los chatbots basados en modelos de lenguaje grande (LLM).

Este análisis de los primeros 500 ejemplos recopilados revela que el problema es generalizado, afectando a revistas y actas de conferencias de editores altamente respetados. La IA no declarada parece aparecer en revistas con métricas de citación más altas y mayores cargos por procesamiento de artículos (APC), precisamente en esas publicaciones que, teóricamente, deberían tener los recursos y la experiencia para evitar tales descuidos. Una pequeña minoría de casos son corregidos después de la publicación, y las correcciones a menudo son insuficientes para rectificar el problema.

Los 500 ejemplos analizados aquí probablemente representen solo una pequeña fracción de la IA no declarada presente en la literatura académica, gran parte de la cual podría ser indetectable. Los editores deben hacer cumplir sus políticas contra el uso no declarado de la IA en los casos detectables; esta es la mejor defensa disponible actualmente para la comunidad editorial académica contra la proliferación de IA no divulgada.

El conjunto de datos utilizado para esta investigación se compuso de fragmentos de 500 documentos publicados: 449 artículos de revistas y 51 ponencias de conferencias. El 93,2% de estos artículos fueron publicados en 2022 o después, mientras que el 6,8% fueron publicados antes de la liberación pública de ChatGPT en noviembre de 2022. Los artículos fueron publicados en 345 revistas diferentes, la mayoría de las cuales (86%) publicó solo uno de los artículos. Las revistas más representadas en el conjunto de datos fueron International Journal of Open Publication and Exploration (18 artículos) y International Research Journal of Modernization in Engineering Technology and Science (11 artículos).

Las ponencias fueron presentadas en 45 conferencias diferentes, con un 91% de las conferencias presentando solo una ponencia. La conferencia más representada fue la International Conference on Electronics, Communication and Aerospace Technology (4 ponencias). Solo el 13,1% de los artículos de revistas fueron publicados en revistas producidas por grandes editores académicos, como Elsevier (5,1%), Springer (2,2%) o MDPI (1,1%). En contraste, la gran mayoría de las ponencias de conferencias (88,2%) fueron publicadas por editores académicos importantes, principalmente IEEE (80,4%). En general, los grandes editores produjeron el 20,8% de los documentos en el conjunto de datos. Todos los editores importantes representados en el conjunto de datos requieren la declaración del uso de IA en sus políticas editoriales, excepto Wolters Kluwer. Solo dos publicaciones de Wolters Kluwer, Medicine y Annals of Medicine & Surgery, aparecen en el conjunto de datos, y ambas requieren la declaración de uso de IA en sus guías para autores.

Un total de 62 artículos (13,8%) fueron publicados en revistas sin un ISSN confirmado o que afirmaban estar registrados con el ISSN de otra revista.

Es imperativo identificar y abordar los casos de IA no declarada que podemos detectar. En tales casos, las revistas y editores deben hacer cumplir sus políticas mediante correcciones o retractaciones, según la gravedad de la violación de políticas. No hacer esto establece un precedente de violaciones de políticas sin abordar, sugiriendo a los autores que la declaración del uso de IA no es necesaria. Por el contrario, un precedente de hacer cumplir estas políticas incentiva la declaración entre los autores descuidados e incluso sin escrúpulos, por el temor de que el uso de IA sea detectable en su caso.