Sistema de avaliação da CAPES: indicadores e procedimentos de monitoramento e avaliação de desempenho

Ediane Maria Gheno; Regina Maria Guaragna; Luiz Felipe Sfoggia da Mata; Lucimara Figueira Duarte; Diogo Onofre Souza; Luciana Calabró

doi:10.19132/1808-5245253.184-213

Authors

Ediane Maria Gheno Universidade Federal do Rio Grande do Sul
Regina Maria Guaragna Universidade Federal do Rio Grande do Sul
Luiz Felipe Sfoggia da Mata Universidade Federal do Rio Grande do Sul
Lucimara Figueira Duarte Universidade Federal do Rio Grande do Sul
Diogo Onofre Souza Universidade Federal do Rio Grande do Sul
Luciana Calabró Universidade Federal do Rio Grande do Sul

DOI:

https://doi.org/10.19132/1808-5245253.184-213

Keywords:

Graduate Program Evaluation System. Human resources. Nucleation. Bibliometrics. Scientometrics.

Abstract

The evaluation system of the Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) requires Graduate Programs to constantly reflect about the recommended and achieved performances. Given the relevance of information to support planning, this article aims to identify new indicators and procedures that could contribute to improve the CAPES evaluation policies in Proposals three (students group, thesis and dissertations) and five (social insertion). it is a methodological study, elaborated from Monitoring and Evaluation (2007-2016), it applies Documentary Analysis and Bibliometrics/Scientiometrics indicators, having the Programa de Pós-Graduação em Ciências Biológicas: Bioquímica of UFRGS as a case study. The present study seeks: to analyze the performance of the PPG based on the guidelines from Biological Sciences II Field; to evaluate the nucleation of graduates in Higher Education Institutions; to identify corrective measures and to evaluate the impact and viability of the Ordinances (Portarias dos 8) that recommend a maximum of eight students per teacher for scientific production. To achieve the objectives, it applies three strategies and a new scientific indicator. The procedure improved the evaluation on the contributions of the nucleation program and on the profile of the formation of graduates. The other procedure is related to management, which identifies the effects of the CAPES evaluation by corrective measures. the indicator co-authorship discente/docente points out the unfeasibility of Portarias dos 8 because it negatively impacts scientific production. The aforementioned strategies and the co-authorship indicator can be used as additional parameters for the CAPES evaluation, improving the Institutional Evaluation of other Programs.

Downloads

Download data is not yet available.

Author Biographies

Ediane Maria Gheno, Universidade Federal do Rio Grande do Sul

Possui graduação em Letras pela Faculdade Porto-Alegrense (2009) e mestrado em Educação em Ciências Quìmica da Vida e Saúde pela Universidade Federal do Rio Grande do Sul (2015). Atualmente é graduanda em Biblioteconomia e doutoranda em Educação em Ciências (UFRGS). Tem experiência na área de Letras e Ciência da Informação (Biblioteconomia), atuando principalmente nos seguintes temas: Educação e divulgação Científica, avaliação institucional e Cientometria.

Regina Maria Guaragna, Universidade Federal do Rio Grande do Sul

Possui graduação em Faculdade de Farmácia-Bioquímica pela Universidade Federal do Rio Grande do Sul (1977), mestrado em Ciências Biológicas (Bioquímica) pela Universidade Federal do Rio Grande do Sul (1981), doutorado em Ciências-Bioquímica pela Universidade Federal do Rio de Janeiro (1992) e pós-doutorado em Educação em Ciências (UFRGS) (2017). Atualmente é professor Associado IV da Universidade Federal do Rio Grande do Sul. Tem experiência na área de Bioquímica, com ênfase em Lipídeos, atuando principalmente nos seguintes temas: obesidade, diabete do tipo 2, hormônios gastrointesinais (GIP, GLP-1, PYY), ácidos graxos, ácidos graxos trans, PPAR, sirtuina, célula estrelada hepática, lipídeos neutros, indometacina, resveratrol. Atualmente, trabalha com difusão da ciência na sociedade, avaliação institucional e formação filosófica dos professores de ensino básico e universitário, e alunos do PPG em Ciências Biológicas-Bioquímica, considerando sua importância em relação ao processo educacional.

Luiz Felipe Sfoggia da Mata, Universidade Federal do Rio Grande do Sul

Licenciando em Matemática na Universidade Federal do Rio Grande do Sul (UFRGS). Atualmente é Educador Social no Projeto Social WImbelemdon - Educando com o Tênis, assim como Bolsista de Iniciação ao Ensino de Ciências(BIENC) pelo projeto: Virada da Educação em Ciências, no PPG em Ciências Biológicas: Bioquímica, da UFRGS. Tem experiência na área de Educação, com ênfase na formação de professores.

Lucimara Figueira Duarte, Universidade Federal do Rio Grande do Sul

Graduanda em Biblioteconomia na Universidade Federal do Rio Grande do Sul (UFRGS) e Bolsista de Iniciação Científica no PPG em Ciências Biológicas: Bioquímica, da UFRGS. Tem experiência na área de Ciência da Informação, com ênfase em Biblioteconomia.

Diogo Onofre Souza, Universidade Federal do Rio Grande do Sul

Concluí meu curso de Medicina em 1971, na Universidade Católica de Pelotas. Iniciei, em 1972, minhas atividades como aluno e pesquisador em Bioquímica na UFRGS (Prof. Tuiskon Dick). Em 1976 concluí meu Mestrado na UFRJ (Prof. Leopoldo de Meis) e, em 1980, meu Doutorado na UFRJ (Prof. Iván Izquierdo). Em 1980-1981 fiz meu Pós Doutorado (CNPq) na University of London (Prof. Richard Rodnight) e em 1987/1988 fui Professor Visitante do Laboratório de Neurobiologia, Universidad Autónoma de Madrid (Prof. Galo Ramirez). Em 1994/1995 fui Professor Visitante no Laboratório de Bioenergética, Departamento de Bioquímica Médica, UFRJ (Prof. Leopoldo de Meis). Em 1998 fui Visiting Scientist, no Neurology Service, Veterans Affair Medical Center, CA, USA (Prof. Raymond Swanson). Já publiquei mais de 450 artigos científicos em revistas indexadas de circulação internacional, orientei inúmeras Teses de Doutorado, Dissertações de Mestrado e dezenas de alunos de Iniciação Científica. Esta atuação envolve basicamente a área de Neurociências, onde atuo longo de toda minha vida científica, trabalhando em injúria cerebral mediada por glutamato e neuroproteção exercida pelo nucleosídeo guanosina, abordando aspectos básicos e clínicos de doenças cerebrais. Mais recentemente, comecei a me envolver com a área de Educação em Ciências, onde orientei várias Teses de Doutorado e Dissertações de Mestrado. Recentemente liderei a criação de um PPG em Educação em Ciências na UFRGS, tendo sido seu primeiro Coordenador. Atualmente, sou revisor de artigos científicos em mais de 30 periódicos internacionais, indexados.

Luciana Calabró, Universidade Federal do Rio Grande do Sul

Possui graduação em Ciências Biológicas pela Universidade de Caxias do Sul (2001), mestrado em Educação em Ciências pela Universidade Federal do Rio Grande do Sul (2008) e doutorado em Educação em Ciência pela Universidade Federal do Rio Grande do Sul (2011). Atualmente é bolsista PNPD do Programa de Pós Graduação em Educação em Ciência na Universidade Federal do Rio Grande do Sul. Tem experiência na área de Educação, com ênfase em Cientometria, Divulgação Científica e Educação.

References

BARDIN, L. Análise de conteúdo. Lisboa: Edições 70, 2009.

BRASIL. Presidência da República. Casa Civil. Emenda Constitucional nº 95, de 15 de dezembro de 2016. Altera o Ato das Disposições Constitucionais Transitórias, para instituir o Novo Regime Fiscal, e dá outras providências. Diário Oficial da União: seção 1, Brasília, n. 241, p. 2, 2016.

CAPES. Caracterização do Sistema de Avaliação da Pós-Graduação. Brasília, 2018. Disponível em: http://www.webcitation.org/78W8lM5QT. Acesso em: 5 jun. 2018.

CAPES. Ficha de avaliação do programa, Ciências Biológicas (Bioquímica) UFRGS. Brasília, 2017a. Disponível em: http://www.webcitation.org/78WBq9kjZ. Acesso em: 5 jun. 2018.

CAPES. Relatório de avaliação 2013-2016 quadrienal 2017: Ciências Biológicas II. Brasília, 2017. Disponível em: http://www.webcitation.org/78WCM1nPW. Acesso em: 21 set. 2017.

CAPES. Portaria nº 81, de 3 de junho de 2016. Diário Oficial da União: seção 1, Brasília, n. 106, p. 14, 6 jun. 2016a. Disponível em: http://www.webcitation.org/78WCk85wr. Acesso em: 2 jun. 2017.

CAPES. Documento de Área: Ciências Biológicas II. Brasília, 2016. Disponível em: http://www.webcitation.org/78WD6VbD0. Acesso em: 2 jun. 2017.

CAPES. Plataforma Sucupira. Brasília, 2014a. Disponível em: http://www.webcitation.org/78W9wTvcA. Acesso em: 10 fev. 2017.

CAPES. Portaria nº 174, de 30 de dezembro de 2014. Define, para efeitos de enquadramento nos programas e cursos de pós-graduação e das avaliações, as categorias de docentes dos programas desse nível de ensino. Diário Oficial da União: seção 1, Brasília, n. 253, p. 86, 31 dez. 2014.

CAPES. Documento de Área 2013: Ciências Biológicas II. Brasília, 2013. Disponível em: http://www.webcitation.org/78WDRaotB. Acesso em: 10 fev. 2017.

CAPES. Relatório de avaliação 2010-2012 trienal 2013: Ciências Biológicas II. Brasília, 2013a. Disponível em: http://www.webcitation.org/78WHr8aTh. Acesso em: 7 jun. 2016.

CAPES. Ficha de Avaliação do Programa: Ciências Biológicas (Bioquímica) UFRGS. Brasília, 2013b. Disponível em: http://www.webcitation.org/78WIIArPA. Acesso em: 7 jun. 2016.

CAPES. Portaria nº 086, de 03 de julho de 2013. [S.n.]: Brasília, 2013c. Disponível em: http://www.webcitation.org/78WHPB6nQ. Acesso em: 28 ago. 2017.

CAPES. Portaria nº 1, de 4 de janeiro de 2012. Diário Oficial da União: seção 1, Brasília, p. 27, 2012. Disponível em: http://www.webcitation.org/78WHBjp7H. Acesso em: 10 jun. 2018.

CAPES. Documento de área 2010: Ciências Biológicas II. Brasília, 2010a. Disponível em: http://www.webcitation.org/78WGkwwfo. Acesso em: 10 jun. 2018.

CAPES. Relatório de avaliação 2007-2009 trienal 2010: Ciências Biológicas II. Brasília, 2010b. Disponível em: http://www.webcitation.org/78WGZCuir. Acesso em: 10 jun. 2018.

CAPES. Ficha de avaliação do programa: Ciências Biológicas (Bioquímica) UFRGS. Brasília, 2010c. Disponível em: http://www.webcitation.org/78WFzbKED. Acesso em: 7 jun. 2016.

CAPES. Plano Nacional de Pós-graduação: PNPG 2011-2020. Brasília: CAPES, 2010.

CGEE. Mestres e doutores 2015: estudos da demografia da base técnico-científica brasileira. Brasília: CGEE, 2016.

CNPQ. RHAE: apresentação. Brasília: CNPq, 2018.

DIAS SOBRINHO, J. Avaliação e transformações da educação superior brasileira (1995-2009): do Provão ao SINAES. Avaliação, Sorocaba, v. 15, n. 1, p. 195-224, mar. 2010.

ESTEBAN, M. P. S. Pesquisa qualitativa em educação: fundamentos e tradições. Porto Alegre: AMGH, 2010.

FAPERGS. FAPERGS e CNPq firmam acordo de cooperação. Porto Alegre: PROCERGS, 30 nov. 2018. Disponível em: http://www.webcitation.org/78WFYxi2Z. Acesso em: 28 dez. 2018.

FONSECA, J. J. S. Metodologia da pesquisa científica. Fortaleza: UEC, 2002.

GABRIEL JUNIOR, R. F. Geração de indicadores de produção e citação científica em revistas de Ciência da Informação: estudo aplicado à base de dados BRAPCI. 2014. Tese (Doutorado em Ciência da Informação) – Faculdade de Filosofia e Ciências, Universidade Estadual Paulista, Marília, 2014.

GAZZOLA, A. L.; FENATI, R. A PG brasileira no ano de 2020. In: BRASIL. Ministério da Educação. CAPES. Plano nacional de pós-graduação: PNPG 2011-2020. Brasília: CAPES, 2010. v. 2.

GINGRAS, Y. Os desvios da avaliação da pesquisa: o bom uso da bibliometria. Rio de Janeiro: UFRJ, 2016.

GLÄNZEL, W. Bibliometrics as a research field: a courseon theory and application of bibliometric indicators. [S.l.]: Course Handouts, 2003.

GOLDENBERG, M. A arte de pesquisar. Rio de Janeiro: Record, 1997.

GRAMSCI, A. Concepção dialética da história. Rio de Janeiro: Civilização Brasileira, 1995.

LEITE, D. Reformas universitárias: avaliação institucional participativa. Petrópolis: Vozes, 2005.

LETA, J. Indicadores de desempenho, ciência brasileira e cobertura das bases informacionais. Revista Universidade de São Paulo, São Paulo, v. 89, p. 62-77, mar./maio 2011.

MACIAS-CHAPULA, C. A. O papel da informetria e da cienciometria e sua perspectiva nacional e internacional. Ciência da Informação, Brasília, v. 27, n. 2, p. 134-140, maio/ago. 1998.

MINAYO, M. C. S. (org.). Pesquisa social: teoria, método e criatividade. 21. ed. Petrópolis: Vozes, 2002.

MINAYO, M. C. S.; SANCHES, O. Quantitativo-qualitativo: oposição ou complementaridade? Cadernos de Saúde Pública, Rio de Janeiro, v. 9, n. 3, p. 239-262, jul./set. 1993.

SANTIN, D. M. Internacionalização da produção científica em Ciências Biológicas da UFRGS: 2000-2011. 2013. Dissertação (Mestrado em Comunicação e Informação) – Programa de Pós-Graduação em Comunicação e Informação, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2013.

SANTOS, B. de S. A universidade no século XXI: para uma reforma democrática e emancipatória da universidade. 3. ed. São Paulo: Cortez, 2011.

SOLLA PRICE, D. J. Little science, big science... and beyond. New York: Columbia University Press, 1986.

SOUSA, M. F. Conceitos básicos em monitoramento e avaliação. [S.l.]: ENAP, 2013. no 26 diapositivos online, color. Disponível em: http://www.webcitation.org/78WETKTtz. Acesso em: 17 set. 2017.

TAGUE-SUTCLIFFE, J. An introduction to informetrics. Information Processing and Management, Tarrytown, v. 28, n. 1, p. 1-3, 1992.

TRIGUEIRO, M. G. S. Reforma universitária e mudanças no ensino superior no brasil. [S.l.]: IESALC, 2003.

UFRGS. Instituto de Ciências Básicas da Saúde. Programa de Pós-Graduação em Ciências Biológicas: Bioquímica. Regimento. Porto Alegre, 2016. Disponível em: https://www.ufrgs.br/ppgbioq/. Acesso em: 7 jun. 2018.

VIOTTI, E. B. V. Doutores 2010: estudos da demografia da base técnico-científica brasileira. In: CGEE. Doutores 2010: estudos da demografia da base técnico-científica brasileira. Brasília: CGEE, 2010. cap. 1.