Efeitos dos sistemas de avaliação de pesquisa de CAPES e CNPQ nos padrões de publicação dos pesquisadores das ciências da saúde no Brasil
DOI:
https://doi.org/10.1590/1808-5245.30.138437Palavras-chave:
sistemas de avaliação da pesquisa, padrões de publicação, ciências da saúde, BrasilResumo
Introdução: apesar do papel cada vez maior dos sistemas de avaliação da pesquisa na avaliação do desempenho dos pesquisadores, manifesta-se escassez de estudos empíricos que analisem se esses sistemas influenciam seus padrões de publicação. Objetivo: analisar se os critérios de avaliação utilizados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior e pelo Conselho Nacional de Desenvolvimento Científico Tecnológico influenciam os padrões de publicação dos pesquisadores das Ciências da Saúde no Brasil. Metodologia: aplica-se um questionário semiestruturado a uma amostra aleatória estratificada conformada por dois estratos homogéneos: (a) pesquisadores que são docentes permanentes de programas de pós-graduação e/ou bolsistas de produtividade em pesquisa; (b) pesquisadores que não são docentes permanentes, nem bolsistas. Resultados: os critérios mais diretamente relacionados com as avaliações, tais como a pontuação que recebem os artigos nas avaliações, o número de artigos demandados, a indexação das revistas nas principais bases de dados, ou o valor dos indicadores bibliométricos da revista, influenciam mais as escolhas dos pesquisadores avaliados do que as dos não avaliados. Fatores não relacionados diretamente às avaliações, tais como a importância dos artigos para o incremento da reputação, o grau de disseminação dos artigos, o prestígio do periódico, ou a revista contar com peer review de qualidade, também influenciam as escolhas dos pesquisadores avaliados. Conclusões: as respostas dos pesquisadores às avaliações são complexas e dependem de vários fatores; não é possível estabelecer uma relação determinística de causa-efeito entre os critérios de avaliação mais diretamente relacionados com as avaliações e os padrões de publicação dos pesquisadores.
Downloads
Referências
AAGAARD, K. How incentives trickle down: local use of a national bibliometric indicator system. Science and Public Policy, Oxford, v. 42, n. 5, p. 725-737, 2015. Disponível em: https://doi.org/10.1093/scipol/scu087. Acesso em: 25 jun. 2021.
AAGAARD, K.; SCHNEIDER, J. W. Some considerations about causes and effects in studies of performance-based research funding systems. Journal of Informetrics, Netherlands, v. 11, n. 3, p. 923-926, 2017. Disponível em: https://doi.org/10.1016/j.joi.2017.05.018. Acesso em: 25 jun. 2021.
BAL, R. Playing the Indicator Game: reflections on strategies to position an sts group in a multi-disciplinary environment. Engaging Science, Technology, and Society, Evansville, v. 3, p. 41-52, 2017. Disponível em: https://doi.org/10.17351/ests2017.111. Acesso em: 25 jun. 2021.
BOURDIEU, P. Science of science and reflexivity. Chicago: Chicago University Press, 2004.
BUELA-CASAL, G.; ZYCH, I. What do the scientists think about the impact factor? Scientometrics, New York, v. 92, n. 2, p. 281-292, 2012. Disponível em: https://doi.org/10.1007/s11192-012-0676-y. Acesso em: 25 jun. 2021.
CABALLERO RIVERO, A.; SANTOS, R. N. M.; TRZESNIAK, P. Associação entre os sistemas de avaliação da pesquisa e os padrões de publicação nas Ciências da Saúde no Brasil. Informação & Informação, Londrina, v. 27, n. 3, p. 288-316, 2022. Disponível em: https://doi.org/10.5433/1981-8920.2022v27n3p288. Acesso em: 25 jun. 2021.
CARVALHO, K.; ODDONE, N. E.; CAFÉ, A. L. P.; MENEZES, V. Aspectos gerenciais da política científica brasileira: um olhar sobre a produção científica do campo da sociologia face aos critérios de avaliação do CNPq e da CAPES. Em Questão, Porto Alegre, v.19, n. 1, p. 187-212, 2013. Disponível em: https://www.redalyc.org/articulo.oa?id=465645972011. Acesso em: 25 jun. 2021.
FRY, J.; OPPENHEIM, C.; CREASER, C.; JOHNSON, W.; SUMMERS, M.; WHITE, S.; BUTTERS, G.; CRAVEN, J.; GRIFFITHS, J.; HARTLEY, D. Communicating knowledge: how and why researchers publish and disseminate their findings. The Research Information Network, London, Sept. 2009. Disponível em: http://www.rin.ac.uk/system/files/attachments/Communicating-knowledge-report.pdf. Acesso em: 29 jun. 2021.
HICKS, D. Performance-based university research funding systems. Research Policy, Netherlands, v. 41, n. 2, p. 251-261, 2012. Disponível em: https://doi.org/10.1016/j.respol.2011.09.007. Acesso em: 25 jun. 2021.
GÉNOVA, G.; ASTUDILLO, H.; FRAGA, A. The scientometric bubble considered Harmful. Zaher, s.l.,v. 22, n. 1, p. 227-235, 2016. Disponível em: https://doi.org/10.1007/s11948-015-9632-6. Acesso em: 25 jun. 2021.
GIBBONS, M.; LIMOGES, C.; SCHWARTZMAN, S.; SCOTT, P.; TROW, M. The new production of knowledge: the dynamics of science and research in contemporary societies. London: Sage, 1994.
GLÄSER, J. A fight on epistemological quicksand: comment on the dispute between Van den Besseelaar et al. and Butler. Journal of Informetrics, Netherlands, v. 11, n. 3, p. 927-932, 2017. Disponível em: https://doi.org/10.1016/j.joi.2017.05.019. Acesso em: 25 jun. 2021.
GLÄSER, J.; LAUDEL, G. Evaluation without evaluators: the impact of funding formulae on Australian University Research. In: WHITLEY, R.; GLÄSSER, J. (ed.). The changing governance of the sciences: the advent of Research Evaluation Systems. Dordrecht: Springer, 2007. p. 127-152.
GLÄSER, J.; LAUDEL, G. Governing Science. European Journal of Sociology, Cambridge, v. 57, n. 1, p. 117-168, 2016. Disponível em: https://doi.org/10.1017/S0003975616000047. Acesso em: 25 jun. 2021.
GLÄSER, J.; LANGE, S.; LAUDEL, G.; SCHIMANK, U. The limits of universality: how field-specific epistemic conditions affect authority relations and their consequences. In: WHITLEY, R.; GLÄSER, J.; ENGWALL, L. (ed.), Reconfiguring knowledge production: changing authority relationships in the sciences and their consequences for intellectual innovation. Oxford: Oxford University Press, 2010. p. 291-325.
HAMMARFELT, B. Recognition and reward in the academy: Valuing publication oeuvres in biomedicine, economics and history. Aslib Journal of Information Management, Leeds, v. 69, n. 5, p. 607-623, 2017. Disponível em: https://doi.org/10.1108/AJIM-01-2017-0006. Acesso em: 25 jun. 2021.
HAMMARFELT, B.; RICKJE, S. Accountability in context: effects of research evaluation systems on publication practices, disciplinary norms, and individual working routines in the faculty of Arts at Uppsala University. Research Evaluation, Oxford, v. 24, n. 1, p. 63-77, 2015. Disponível em: https://doi.org/10.1093/reseval/rvu029. Acesso em: 25 jun. 2021.
JIMÉNEZ-CONTRERAS, E.; MOYA-ANEGÓN, F.; LÓPEZ-CÓZAR, E. D. The evolution of research activity in Spain: the impact of the National Commission for the Evaluation of Research Activity (CNEAI). Research Policy, Netherlands, v. 32, n. 1, p. 123-142, 2003. Disponível em: https://doi.org/10.1016/S0048-7333(02)00008-2. Acesso em: 25 jun. 2021.
JOHNSON, R.; ATKINSON, A.; MABE, M. The STM report: an overview of scientific and scholarly publishing. Netherlands: International Association of Scientific, Technical and Medical Publishers, 2018. Disponível em: https://www.stm-assoc.org/2018_10_04_STM_Report_2018.pdf. Acesso em: 18 mai. 2021.
KELLOGG, D. Toward a post-academic science policy: scientific communication and the collapse of the mertonian norms. International Journal of Communications Law & Policy, London, special issue, Fall 2006. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=900042. Acesso em: 9 jul. 2019.
KNELLER, R. Prospective and retrospective evaluation systems in context: insights from Japan. In: WHITLEY, R.; GLÄSSER, J. (ed.). The changing governance of the sciences: the advent of Research Evaluation Systems. Dordrecht: Springer, 2007. p. 51-74.
KORYTKOWSKI, P., KULCZYCKI, E. Examining how country-level science policy shapes publication patterns: the case of Poland. Scientometrics, New York, v. 119, n. 3, p. 1519-1543, 2019. Disponível em: https://doi.org/10.1007/s11192-019-03092-1. Acesso em: 25 jun. 2021.
MARQUES, M.; POWELL, J. J. W.; ZAPP, M.; BIESTA, G. How does research evaluation impact educational research? Exploring intended and unintended consequences of research assessment in the United Kingdom, 1986-2014. European Educational Research Journal, New Jerey, v. 16, n. 6, p. 820-842, 2017. Disponível em: https://doi.org/10.1177/1474904117730159. Acesso em: 25 jun. 2021.
MENEZES, V., ODDONE, N. E., CAFÉ, A. L. P. Aspectos reputacionais dos sistemas de avaliação da produção científica no campo da ciência da informação. Tendências da Pesquisa Brasileira em Ciência da Informação, Rio de Janeiro, v. 5, n. 1, 2012.
O’MEARA, K. A. Inside the panopticom: studying academic reward systems. In: SMART, J.; PAULSEN, M. (ed.). Higher Education: Handbook of Theory and Research. Dordrecht: Springer, 2011. p. 161-220.
OSSENBLOK, T. L.; ENGELS, T. C.; SIVERTSEN, G. The representation of the social sciences and humanities in the Web of Science: a comparison of publication patterns and incentive structures in Flanders and Norway (2005-9), Research Evaluation, Oxford, v. 21, n. 4, p. 280-290, 2012. Disponível em: https://doi.org/10.1093/reseval/rvs019. Acesso em: 25 jun. 2021.
RICKJE, S.; WOUTERS, P. F.; RUSHFORTH, A. D.; FRANSSEN, T. P.; HAMMARFELT, B. Evaluation practices and effects of indicator use a literature review. Research Evaluation, Oxford, v. 25, n. 2, p. 161-169, 2016. Disponível em: https://doi.org/10.1093/reseval/rvv038. Acesso em: 25 jun. 2021.
SCHNEIDER, J. W.; AAGAARD, K.; BLOCH, C. W. What happens when national research funding is linked to differentiated publication counts? A comparison of the Australian and Norwegian publication-based funding models. Research Evaluation, Oxford, v. 25, n. 3, p. 244-256, 2016. Disponível em: https://doi.org/10.1093/reseval/rvv036. Acesso em: 25 jun. 2021.
SILE, L.; VANDERSTRAETEN, R. Measuring changes in publication patterns in a context of performance based research funding systems: the case of educational research in the University of Gothenburg (2005-2014). Scientometrics, New York, v. 118, p. 71-91, 2019. Disponível em: https://doi.org/10.1007/s11192-018-2963-8. Acesso em: 25 jun. 2021.
SOUZA, C. D.; FILIPO, D.; SANZ CASADO, E. Crescimento da atividade científica nas universidades federais brasileiras: análise por áreas temáticas. Avaliação, Campinas, v. 23, n. 1, p. 126-156, 2018. Disponível em: http://dx.doi.org/10.1590/s1414-40772018000100008. Acesso em: 25 jun. 2021.
STATISTICAL PACKAGE FOR THE SOCIAL SCIENCES (SPSS). Software IBM SPSS. Disponível em: https://www.ibm.com/br-pt/spss. Acesso em: 30 jun. 2021.
VAN SELM, M.; JANKOWSKI, N. W. Conducting online surveys. Quality & Quantity, New York, v. 40, n. 3, p. 435-456, 2006. Disponível em: https://doi.org/10.1007/s11135-005-8081-8. Acesso em: 25 jun. 2021.
WHITLEY, R. The intellectual and social organization of the sciences. 2 nd ed. Oxford: Oxford University Press, 2000.
WHITLEY, R. Changing governance of the public sciences: the consequences of establishing research evaluation systems for knowledge production in different countries and scientific fields. In: WHITLEY, R.; GLÄSER, J. (ed.). The changing governance of the sciences: the advent of Research Evaluation Systems. Dordrecht: Springer, 2007. p. 3-30.
WHITLEY, R.; GLÄSER, J. (ed.). The changing governance of the sciences: the advent of Research Evaluation Systems. Dordrecht: Springer, 2007.
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2023 Alejandro Caballero Rivero, Raimundo Nonato Macedo dos Santos, Piotr Trzesniak
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.
Autores que publicam nesta revista concordam com os seguintes termos:
Autores mantêm os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho licenciado sob a Licença Creative Commons Attribution (CC BY 4.0), que permite o compartilhamento do trabalho com reconhecimento da autoria.
Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não exclusiva da versão do trabalho publicada nesta revista, como publicar em repositório institucional, com reconhecimento de autoria e publicação inicial nesta revista.
Os artigos são de acesso aberto e uso gratuito. De acordo com a licença, deve-se dar o crédito apropriado, prover um link para a licença e indicar se mudanças foram feitas. Não é permitido aplicar termos jurídicos ou medidas de caráter tecnológico que restrinjam legalmente outros de fazerem algo que a licença permita.
