From Publishing to Comply to Publishing to Transform: A Reflection on Research Assessment, Metrics, and Social Impact
- Authors
-
-
Nicolás Guarnizo
Asociación Científica Internacional de Educación Física
Author
-
- Keywords:
- bibliodiversity, scientific evaluation, social impact, responsible metrics
- Abstract
-
This reflective article examines the tension between the growing centrality of quantitative indicators in research assessment (citations, quartiles, indices, and rankings) and the need to value substantive contributions with social relevance. It argues that the core problem is not the existence of metrics per se, but their use as substitutes for academic judgment and as nearexclusive criteria for hiring, promotion, and funding decisions. This dependence reinforces a “publishing to comply” logic that encourages adaptive behaviors—such as salami slicing, topic selection driven by “publishability,” and the instrumentalization of scientific writing— and may weaken quality, integrity, and the diversity of scholarly outputs. Drawing on the debate on responsible metrics and bibliodiversity, the article proposes rebalancing assessment systems through triangulated evidence (contextualized indicators, qualitative review, and decision traceability), recognition of diverse contributions (books, knowledge transfer, data, software, and training), and institutional policies aligned with disciplinary missions and societal needs. Finally, it acknowledges the limitations of a reflective approach and outlines a discussion and research agenda focused on institutional pilots and comparative studies on incentive effects, epistemic justice, and verifiable social impact.
- Downloads
-
Download data is not yet available.
- References
-
Beigel, F., & Gallardo, O. (2021). Productividad, bibliodiversidad y bilingüismo en un corpus completo de producciones científicas. CTS: Revista Iberoamericana de Ciencia, Tecnología y Sociedad, 16(46), 41–71.
Beigel, Fernanda., & Gallardo. (2021). Productividad, bibliodiversidad y bilingüismo en un corpus completo de producciones científicas. Revista Iberoamericana de Ciencia, Tecnología y Sociedad - CTS, 16(46), 41–71. https://ojs.revistacts.net/index.php/CTS/article/view/211
Coalition for Advancing Research Assessment. (2022). Agreement on reforming research assessment. https://coara.eu/agreement/the-agreement-full-text/
Delgado López-Cózar, E. (2017). Evaluar revistas científicas: Un afán con mucho presente y pasado e incierto futuro. En E. Abadal (Ed.), Revistas científicas: situación actual y retos de futuro (pp. 73–104). Edicions de la Universitat de Barcelona.
Delgado López-Cózar, E. (2020). Guía de buenas prácticas en la publicación científica. Dilemata: Revista Internacional de Éticas Aplicadas, (33), 295–310.
Delgado López-Cózar, Emilio. (2017). Evaluar revistas científicas: Un afán con mucho presente y pasado e incierto futuro. En Abadal (Coord.), Revistas científicas: Situación actual y retos de futuro (pp. 73–104). Edicions de la Universitat de Barcelona. https://hdl.handle.net/2445/117374
Fire, M., & Guestrin, C. (2019). Over-optimization of academic publishing metrics: Observing Goodhart’s Law in action. GigaScience, 8(6), giz053. https://doi.org/10.1093/gigascience/giz053
Giménez Toledo, E. (2016). Malestar: Los investigadores ante su evaluación. Iberoamericana/Vervuert.
Giménez Toledo, E., Córdoba Restrepo, J. F., Giraldo González, E., & Mañana Rodríguez, J. (2021). Calidad y prestigio de la edición académica. El caso colombiano. Signo y Pensamiento, 40(78). https://doi.org/10.11144/Javeriana.syp.40-78.cpea
Giménez Toledo, Elea. (2016). Malestar: Los investigadores ante su evaluación. Iberoamericana/Vervuert.
Giménez Toledo, Elea., Córdoba Restrepo, Giraldo González, & Mañana Rodriguez. (2021). Calidad y prestigio de la edición académica: El caso colombiano. Signo y Pensamiento, 40(78). https://doi.org/10.11144/Javeriana.syp.40-78.cpea
Grimes, D. R., Bauch, C. T., & Ioannidis, J. P. A. (2018). Modelling science trustworthiness under publish or perish pressure. Royal Society Open Science, 5(1), 171511. https://doi.org/10.1098/rsos.171511
Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429–431. https://doi.org/10.1038/520429a
Martín-Martín, A., & Delgado López-Cózar, E. (2024). Informe bibliométrico sobre la producción científica del profesor Juan Manuel Corchado (Versión 1). Zenodo. https://doi.org/10.5281/zenodo.13826665
McKiernan, E. C., Schimanski, L. A., Muñoz Nieves, C., Matthias, L., Niles, M. T., & Alperin, J. P. (2019). Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations. eLife, 8, e47338. https://doi.org/10.7554/eLife.47338
Moher, D., Naudet, F., Cristea, I. A., Miedema, F., Ioannidis, J. P. A., & Goodman, S. N. (2020). The Hong Kong Principles for assessing researchers: Fostering research integrity. PLOS Biology, 18(7), e3000737. https://doi.org/10.1371/journal.pbio.3000737
Robinson-García, N., Repiso, R., & Torres-Salinas, D. (2018). Perspectiva y retos de los profesionales de la evaluación científica y la bibliometría. El Profesional de la Información, 27(3), 461–470. https://doi.org/10.3145/epi.2018.may.01
Robinson-García, Nicolás., Repiso, & Daniel Torres-Salinas. (2018). Perspectiva y retos de los profesionales de la evaluación científica y la bibliometría. El Profesional de la Información, 27(3), 461–466. https://doi.org/10.3145/epi.2018.may.01
Ruiz-Ruano García, A. M., Artigas Morales, W., Casanova, I., & López Puga, J. (2025). Las prácticas cuestionables de investigación en la comunidad científica hispanohablante. Revista Española de Documentación Científica, 48(1), e1605. https://doi.org/10.3989/redc.2025.1.1605
San Francisco Declaration on Research Assessment. (2012). San Francisco Declaration on Research Assessment (DORA). https://sfdora.org/read/
Smaldino, P. E., & McElreath, R. (2016). The natural selection of bad science. Royal Society Open Science, 3(9), 160384. https://doi.org/10.1098/rsos.160384
Torres-Salinas, Daniel., Orduña-Malea, Delgado-Vázquez, & Arroyo-Machado. (2024). Fundamentos de bibliometría narrativa (v.1). Zenodo.
https://doi.org/10.5281/zenodo.10512837
UNESCO. (2021). UNESCO recommendation on open science. https://unesdoc.unesco.org/ark:/48223/pf0000379949
Uribe-Tirado, A. (2017). Publindex se usa como no se debe. Alma Mater, (668), 6. https://doi.org/10.2139/ssrn.3489246
Uribe-Tirado, Alejandro. (2017, septiembre). Publindex se usa como no se debe. Alma Mater, (668), 6. https://bibliotecadigital.udea.edu.co/bitstreams/c2cd9176-b1da-41e9-ac93-c77c67aef67d/download
Vélez-Cuartas, G., Suárez-Tamayo, M., Jaramillo-Guevara, L., & Gutiérrez, G. (2021). Nuevo modelo de métricas responsables para medir el desempeño de revistas científicas en la construcción de comunidad: El caso de Redes. Redes: Revista Hispana para el Análisis de Redes Sociales, 32(2), 110–152. https://doi.org/10.5565/rev/redes.919
Vélez-Cuartas, Gabriel., Suárez-Tamayo, Jaramillo-Guevara, & Gutiérrez. (2021). Nuevo modelo de métricas responsables para medir el desempeño de revistas científicas en la construcción de comunidad: El caso de Redes. Redes: Revista Hispana para el Análisis de Redes Sociales, 32(2), 110–152. https://doi.org/10.5565/rev/redes.919
Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Johnson, B., Kain, R., Kerridge, S., Thelwall, M., Tinkler, J., Viney, I., Wouters, P., Hill, J., & Johnson, B. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Higher Education Funding Council for England. https://doi.org/10.13140/RG.2.1.4929.1363
- Downloads
- Published
- 2026-02-03
- Section
- Artículos de Reflexión
- License
-

This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
How to Cite
Most read articles by the same author(s)
- Nicolás Guarnizo, Research in higher education during the pandemic in Colombia , International Academic Journal of Multidisciplinary Research (RAIIM): Vol. 1 No. 1 (2026): January-February
Similar Articles
- Estiven Escobar, A qualitative study Student and laboratory practice: a qualitative study , International Academic Journal of Multidisciplinary Research (RAIIM): Vol. 1 No. 1 (2026): January-February
- Sandra Gómez, Between immediate relief and perceived risk: meanings and decisions in selfmedication. A qualitative study , International Academic Journal of Multidisciplinary Research (RAIIM): Vol. 1 No. 1 (2026): January-February
- Luis Santodomingo, Between evidence and experience: clinical decisions in veterinary medicine , International Academic Journal of Multidisciplinary Research (RAIIM): Vol. 1 No. 1 (2026): January-February
You may also start an advanced similarity search for this article.
