From Publishing to Comply to Publishing to Transform: A Reflection on Research Assessment, Metrics, and Social Impact

Authors
  • Nicolás Guarnizo

    Asociación Científica Internacional de Educación Física

    Author

Keywords:
bibliodiversity, scientific evaluation, social impact, responsible metrics
Abstract

This reflective article examines the tension between the growing centrality of quantitative indicators in research assessment (citations, quartiles, indices, and rankings) and the need to value substantive contributions with social relevance. It argues that the core problem is not the existence of metrics per se, but their use as substitutes for academic judgment and as nearexclusive criteria for hiring, promotion, and funding decisions. This dependence reinforces a “publishing to comply” logic that encourages adaptive behaviors—such as salami slicing, topic selection driven by “publishability,” and the instrumentalization of scientific writing— and may weaken quality, integrity, and the diversity of scholarly outputs. Drawing on the debate on responsible metrics and bibliodiversity, the article proposes rebalancing assessment systems through triangulated evidence (contextualized indicators, qualitative review, and decision traceability), recognition of diverse contributions (books, knowledge transfer, data, software, and training), and institutional policies aligned with disciplinary missions and societal needs. Finally, it acknowledges the limitations of a reflective approach and outlines a discussion and research agenda focused on institutional pilots and comparative studies on incentive effects, epistemic justice, and verifiable social impact.

Downloads
Download data is not yet available.
References

Beigel, F., & Gallardo, O. (2021). Productividad, bibliodiversidad y bilingüismo en un corpus completo de producciones científicas. CTS: Revista Iberoamericana de Ciencia, Tecnología y Sociedad, 16(46), 41–71.

Beigel, Fernanda., & Gallardo. (2021). Productividad, bibliodiversidad y bilingüismo en un corpus completo de producciones científicas. Revista Iberoamericana de Ciencia, Tecnología y Sociedad - CTS, 16(46), 41–71. https://ojs.revistacts.net/index.php/CTS/article/view/211

Coalition for Advancing Research Assessment. (2022). Agreement on reforming research assessment. https://coara.eu/agreement/the-agreement-full-text/

Delgado López-Cózar, E. (2017). Evaluar revistas científicas: Un afán con mucho presente y pasado e incierto futuro. En E. Abadal (Ed.), Revistas científicas: situación actual y retos de futuro (pp. 73–104). Edicions de la Universitat de Barcelona.

Delgado López-Cózar, E. (2020). Guía de buenas prácticas en la publicación científica. Dilemata: Revista Internacional de Éticas Aplicadas, (33), 295–310.

Delgado López-Cózar, Emilio. (2017). Evaluar revistas científicas: Un afán con mucho presente y pasado e incierto futuro. En Abadal (Coord.), Revistas científicas: Situación actual y retos de futuro (pp. 73–104). Edicions de la Universitat de Barcelona. https://hdl.handle.net/2445/117374

Fire, M., & Guestrin, C. (2019). Over-optimization of academic publishing metrics: Observing Goodhart’s Law in action. GigaScience, 8(6), giz053. https://doi.org/10.1093/gigascience/giz053

Giménez Toledo, E. (2016). Malestar: Los investigadores ante su evaluación. Iberoamericana/Vervuert.

Giménez Toledo, E., Córdoba Restrepo, J. F., Giraldo González, E., & Mañana Rodríguez, J. (2021). Calidad y prestigio de la edición académica. El caso colombiano. Signo y Pensamiento, 40(78). https://doi.org/10.11144/Javeriana.syp.40-78.cpea

Giménez Toledo, Elea. (2016). Malestar: Los investigadores ante su evaluación. Iberoamericana/Vervuert.

Giménez Toledo, Elea., Córdoba Restrepo, Giraldo González, & Mañana Rodriguez. (2021). Calidad y prestigio de la edición académica: El caso colombiano. Signo y Pensamiento, 40(78). https://doi.org/10.11144/Javeriana.syp.40-78.cpea

Grimes, D. R., Bauch, C. T., & Ioannidis, J. P. A. (2018). Modelling science trustworthiness under publish or perish pressure. Royal Society Open Science, 5(1), 171511. https://doi.org/10.1098/rsos.171511

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429–431. https://doi.org/10.1038/520429a

Martín-Martín, A., & Delgado López-Cózar, E. (2024). Informe bibliométrico sobre la producción científica del profesor Juan Manuel Corchado (Versión 1). Zenodo. https://doi.org/10.5281/zenodo.13826665

McKiernan, E. C., Schimanski, L. A., Muñoz Nieves, C., Matthias, L., Niles, M. T., & Alperin, J. P. (2019). Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations. eLife, 8, e47338. https://doi.org/10.7554/eLife.47338

Moher, D., Naudet, F., Cristea, I. A., Miedema, F., Ioannidis, J. P. A., & Goodman, S. N. (2020). The Hong Kong Principles for assessing researchers: Fostering research integrity. PLOS Biology, 18(7), e3000737. https://doi.org/10.1371/journal.pbio.3000737

Robinson-García, N., Repiso, R., & Torres-Salinas, D. (2018). Perspectiva y retos de los profesionales de la evaluación científica y la bibliometría. El Profesional de la Información, 27(3), 461–470. https://doi.org/10.3145/epi.2018.may.01

Robinson-García, Nicolás., Repiso, & Daniel Torres-Salinas. (2018). Perspectiva y retos de los profesionales de la evaluación científica y la bibliometría. El Profesional de la Información, 27(3), 461–466. https://doi.org/10.3145/epi.2018.may.01

Ruiz-Ruano García, A. M., Artigas Morales, W., Casanova, I., & López Puga, J. (2025). Las prácticas cuestionables de investigación en la comunidad científica hispanohablante. Revista Española de Documentación Científica, 48(1), e1605. https://doi.org/10.3989/redc.2025.1.1605

San Francisco Declaration on Research Assessment. (2012). San Francisco Declaration on Research Assessment (DORA). https://sfdora.org/read/

Smaldino, P. E., & McElreath, R. (2016). The natural selection of bad science. Royal Society Open Science, 3(9), 160384. https://doi.org/10.1098/rsos.160384

Torres-Salinas, Daniel., Orduña-Malea, Delgado-Vázquez, & Arroyo-Machado. (2024). Fundamentos de bibliometría narrativa (v.1). Zenodo.

https://doi.org/10.5281/zenodo.10512837

UNESCO. (2021). UNESCO recommendation on open science. https://unesdoc.unesco.org/ark:/48223/pf0000379949

Uribe-Tirado, A. (2017). Publindex se usa como no se debe. Alma Mater, (668), 6. https://doi.org/10.2139/ssrn.3489246

Uribe-Tirado, Alejandro. (2017, septiembre). Publindex se usa como no se debe. Alma Mater, (668), 6. https://bibliotecadigital.udea.edu.co/bitstreams/c2cd9176-b1da-41e9-ac93-c77c67aef67d/download

Vélez-Cuartas, G., Suárez-Tamayo, M., Jaramillo-Guevara, L., & Gutiérrez, G. (2021). Nuevo modelo de métricas responsables para medir el desempeño de revistas científicas en la construcción de comunidad: El caso de Redes. Redes: Revista Hispana para el Análisis de Redes Sociales, 32(2), 110–152. https://doi.org/10.5565/rev/redes.919

Vélez-Cuartas, Gabriel., Suárez-Tamayo, Jaramillo-Guevara, & Gutiérrez. (2021). Nuevo modelo de métricas responsables para medir el desempeño de revistas científicas en la construcción de comunidad: El caso de Redes. Redes: Revista Hispana para el Análisis de Redes Sociales, 32(2), 110–152. https://doi.org/10.5565/rev/redes.919

Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Johnson, B., Kain, R., Kerridge, S., Thelwall, M., Tinkler, J., Viney, I., Wouters, P., Hill, J., & Johnson, B. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Higher Education Funding Council for England. https://doi.org/10.13140/RG.2.1.4929.1363

Cover Image
Downloads
Published
2026-02-03
Section
Artículos de Reflexión

How to Cite

From Publishing to Comply to Publishing to Transform: A Reflection on Research Assessment, Metrics, and Social Impact. (2026). International Academic Journal of Multidisciplinary Research (RAIIM), 1(1), 1-10. https://revista-aiim.com/index.php/inicio/article/view/1

Most read articles by the same author(s)

Similar Articles

You may also start an advanced similarity search for this article.