Avaliação informatiza adaptativa do ENADE pelo MOODLE: evidências de validade

Autores

  • Lucio Ferreira Santana Centro Universitário FIEO
  • Daniel Bartholomeu Programa de Psicologia do Centro Universitário Salesiano – UNISAL – Americana.
  • José Maria Montiel Centro universitário FIEO - Programa de Pós Graduação Stricto Sensu - Psicologia Educacional na UniFIEO/Brasil
  • Gleiber Couto Federal de Goiás no Campus de Catalão - UFG/CAC
  • Arthur Almeida Berberian Centro universitário FIEO - Programa de Pós Graduação Stricto Sensu - Psicologia Educacional na UniFIEO/Brasil
  • Fernando Pessoto Centro Universitário Salesiano – UNISAL

DOI:

https://doi.org/10.22456/1982-1654.69900

Palavras-chave:

Avaliação Educacional. TRI. Modelo de Rasch

Resumo

Testes informatizados adaptativos adquirem relevância quanto às possibilidades de estudos. Este estudo teve como objetivo relacionar dados de uma avaliação do ENADE do Curso do Direito. Participaram 92 pessoas. Foi utilizado dois instrumentos de medida de multipla escolha, um em papel e lápis e outro adaptado ao modelo informatizado adaptativo em ambiente MOODLE. Os resultados demonstraram que os itens estiveram dentro dos parâmetros de ajuste ao modelo investigado. A correlação entre os níveis de dificuldade dos itens nas duas formas, revelaram que os parâmetros dos itens se mantiveram os mesmos entre uma e outra forma de aplicação. Considera-se que estudos que se propõem a analisar os itens, recorrendo a TRI como meio de análise do modelo de Rasch, permitem aferir evidência de validade de construto. Sugere-se que novos estudos a respeito do ENADE, em modelo informatizado adaptativo, pois o ambiente MOODLE demonstrou ser um meio útil e eficaz de avaliação.

Downloads

Não há dados estatísticos.

Biografia do Autor

Lucio Ferreira Santana, Centro Universitário FIEO

Mestrando em Psicologia Educacional, com Especialização em Sistemas de Informação, bacharel em Ciência da Computação. Atualmente é supervisor de tecnologia EAD do Centro Universitário FIEO. Tem experiência na área de Ciência da Computação atuando com professor de diversas disciplinas, com ênfase em Ciência da Computação.

Daniel Bartholomeu, Programa de Psicologia do Centro Universitário Salesiano – UNISAL – Americana.

Psicólogo, Mestre e Doutor em Avaliação Psicológica em Contexto de Saúde Mental pela Universidade São Francisco. É colaborador do Laboratório de Pesquisa em Psicologia do Esporte (Lepespe) e coordenador do Laboratório de Psicodiagnóstico e Neurociências Cognitivas (LaPeNC). Atualmente é Professor do Programa de Psicologia do Centro Universitário Salesiano – UNISAL – Americana.

José Maria Montiel, Centro universitário FIEO - Programa de Pós Graduação Stricto Sensu - Psicologia Educacional na UniFIEO/Brasil

Psicólogo, Especialista em Diagnóstico e Triagem, Mestre e Doutor em Avaliação Psicológica em Contexto de Saúde Mental pela Universidade São Francisco, Pós Doutorado pelo Instituto de Biociências da Universidade Estadual Paulista “Julio de Mesquita Filho” - UNESP/SP. Pesquisador colaborador do Laboratório de Psicodiagnóstico e Neurociências Cognitivas (LaPENC) - Unisal – Americana. Atualmente é Professor do Programa de Pós-Graduação Strictu Sensu em Psicologia Educacional - Centro Universitário FIEO – UNIFIEO/SP.

Gleiber Couto, Federal de Goiás no Campus de Catalão - UFG/CAC

Psicólogo, Mestrado e Doutorado em Psicologia, área de concentração em Avaliação Psicológica, pela Universidade São Francisco. Atualmente é Professor da Universidade Federal de Goiás no Campus de Catalão - UFG/CAC, onde Coordena o Laboratório de Avaliação, Medidas e Instrumentação em Ciências da Saúde - LAMI e orienta no Mestrado Profissional em Gestão Organizacional tema interações interpessoais e suas relações com saúde do trabalhador.

Arthur Almeida Berberian, Centro universitário FIEO - Programa de Pós Graduação Stricto Sensu - Psicologia Educacional na UniFIEO/Brasil

Docente do Programa Stricto Sensu em Psicologia Educacional (UNIFIEO), Osasco - SP. Líder do Laboratório de Estudos em Cognição (LabCog) http://dgp.cnpq.br/dgp/espelhogrupo/6758041328476988. Doutor em Psiquiatria e Psicologia Médica pela Universidade Federal de São Paulo. Mestrado em Psicologia (avaliação psicológica) pela Universidade São Francisco. Tem experiência na área de Psicologia Cognitiva, neuropsicologia e psicometria. Pesquisador colaborador do Programa de Esquizofrenia (PROESQ), ligado ao Departamento de Psiquiatria da UNIFESP-EPM. Também atua com psicologia clínica e avaliação neuropsicológica .

Fernando Pessoto, Centro Universitário Salesiano – UNISAL

Doutor em Psicologia pela Universidade São Francisco, Itatiba-SP (Bolsista CAPES). Possui graduação em Psicologia (Bolsista de Iniciação Científica CNPq) e mestrado no Programa de Pós-Graduação Stricto Sensu em Psicologia da Universidade São Francisco - área de concentração em Avaliação Psicológica (Bolsista FAPESP). Realiza pesquisas na área de inteligência e raciocínio voltados aos processos cognitivos relacionados à atividade musical e personalidade por meio das técnicas autoexpressivas. É coordenador do Laboratório de Psicodiagnóstico e Neurociências Cognitivas (LaPeNC). Atualmente é Professor do Programa de Psicologia do Centro Universitário Salesiano – UNISAL – Americana. Faz parte da equipe editorial da Revista Sul-Americana de Psicologia.

Referências

AAKER, ET AL Marketing Research (7th Ed.), New York: John Wiley & Sons, Inc, 2001. Disponível em: <http://www.inf.ufsc.br/~verav/Ensino_2013_2/O_uso_de_questionarios_em_trabalhos_cient%EDficos.pdf>, Acesso em: 11 dez. 2015.

ADAPTIVE QUIS ENGINE. Disponível em: <http://rlcommunity.remote-learner.net/mod/book/view.php?id=70&chapterid=1030>, Acesso em: 11 dez, 2015.

AERA; APA; NCME (American Educational Research Association; American Psychological Association; National Council on Measurement in Education). Standards for Educational and Psychological Testing. Washington, DC: AERA, 1999.

ANASTASI, A., & URBINA, S. Testagem Psicológica. Porto Alegre: Artes Médicas. Andrade, D. F., Tavares, H. R., & Valle, R. C. Teoria da Resposta ao Item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

BARTHOLOMEU, D., SILVA, M. C. R., PIRES, S. D., & PRIMI, R.. Estabelecimento de pontos de corte pela TRI para uma prova equalizada com o ENADE. Em F. C.-Capovilla. (Org.). Transtornos de aprendizagem: Progressos em avaliação e intervenção preventiva e remediativa (p. 229-238), v. 1, São Paulo: Memnon, 2011.

BOND, T. G., & FOX, C. M. Applying the Rasch model: Fundamental measurement in the human sciences. London: Lawrence Erlbaum Associates, 2001

BRASIL. Sistema nacional de avaliação do ensino superior - sinaes. 2015. Disponível em: , Acesso em: 21 abr. 2015

CHAGAS, D. A.; LISBOA, R. P.; FURTADO, E. S. Framework MAAVA Metodologia de Avaliação de Ambientes Virtuais de Aprendizagem. Anais do Simpósio Brasileiro de Informática na Educação, p. 856–859, 2011.

COMPUTER-ADAPTIVE TESTING: A Methodology Whose Time Has Come. Disponível em : <http://www.rasch.org/memo69.pdf>, Acesso em: 11 dez. 2015.

COSTA, D. R. Métodos estatísticos em testes adaptativos informatizados. Dissertação (Mestrado) — Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2009. Disponível em: . Acesso em: 03 Jul, 2016.

DOUGIAMAS, M. Reading and Writing for Internet Teaching, 1999. Disponível em: <http://dougiamas.com/writing/readwrite.html>, Acesso em: 11 dez. 2015.

ELLIS, R. Field Guide to Learning Management Systems, ASTD Learning Circuits, 2009. Disponível em: <http://www.astd.org/NR/rdonlyres/12ECDB99-3B91-403E-9B15-7E597444645D/23395/LMS_fieldguide_20091.pdf>. Acessado em: 15 abril de 2016

FERRÃO, M. E. Introdução aos modelos de regressão multinível em educação. Campinas: Komedi, 2003.

FRANCISCATO, F. T. et al. Avaliação dos Ambientes Virtuais de Aprendizagem MOODLE, TelEduc e Tidia - Ae: um estudo comparativo. Novas Tecnologias na Educação, v. 6, n. 2, p. 5–10, 2008.

HALKITIS, P. N. CAT algorithm. Rasch Measurement Transactions, v. 6:4, p.254-5, 1993.

JESUS, G. R. & LAROS, J. A.. Eficácia escolar: regressão multinível com dados de avaliação em larga escala. Avaliação Psicológica, 3(2), 93-106, 2004.

JESUS, F. DE; JUNIOR, M.; TEZZA, R. Algoritmo de um teste adaptativo informatizado com base na teoria da resposta ao item para a estimação da usabilidade de sites de e-commerce. Produção, v. 23, n. 2010, p. 525–536, 2013.

LANDEIRA-FERNANDEZ, J., & PRIMI, R. (2002). Comparação do desempenho entre calouros e formandos no Provão de Psicologia 2000. Psicologia: Reflexão e Crítica, 15(1), 219-234.

LEGOINHA, P., Brilha, J. & Neves, L. Geologia e Internet em Portugal. Ciências da Terra (UNL), Lisboa, nº especial IV, pp. 9-15, 2000. Disponível em: <http://www.geopor.pt/geotic/papers/legoinha.html>, Acesso em: 11, dez, 2015

LEGOINHA, P. O MOODLE e as comunidades virtuais de aprendizagem The MOODLE and the virtual learning communities. SciencesNew York, v. 1, p. 1–4, 2006.

LEITE, E. A. M. et al. Avaliação Assistida , Feedbacks e Questionários do MOODLE. Anais do XXII SBIE - XVII WIE, n. Novembro 2011, p. 2303–2313, 2011.

LINACRE, J. M. Computer-Adaptive Testing : A Methodology Whose Time Has Come. Development of Computerized Middle School Achievement Test, n. 69, 2000.

LINACRE, J. M. What do infit and outfit, mean-square and standardized mean? Rasch Measurement Transactions,16(2), 887, 2002.

MAKRANSKY, G. & GLAS, C.A.W. The Applicability of Multidimensional Computerized Adaptive Testing for Cognitive Ability Measurement in Organizational Assessment. International Journal of Testing, 13(2), 123-139, 2013.

MOODLE, 2015. Disponível em: <http://www.MOODLE.org>, Acesso em: 15 fev 2015.

MOREIRA, F. Sistemática para a implantação de testes adaptativos informatizados baseados na teoria da resposta ao item. Tese (Doutorado) — Universidade Federal de Santa Catarina, Florianópolis, 2011. Disponível em: <http://repositorio.ufsc.br/handle/123456789/95506>. Acesso em: 03 Jul, 2016.

OLEA, J. et al. Un test adaptativo informatizado para evaluar el conocimiento de inglés escrito: diseõ y comprobaciones psicométricas. Psicothema, v. 16, n. 3, p. 519–525, 2004. Disponível em: http://www.unioviedo.es/reunido/index.php/PST/article/view/8230. Acesso em: 03 jul, 2016.

PORTUGUAL, FCT (Faculdade de Ciências e Tecnologia), 2015. Disponível em: <http://MOODLE.fct.unl.pt/>. Acesso em: 15 Out, 2015

PULINO, A. R., MOODLE, um sistema de gerenciamento de cursos. Brasília/DF: Departamento de Engenharia Civil e Ambiental, Universidade de Brasília. Sob Licença da Creative Commons (2005).

RASCH, G. Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute for Educational Research, 1960

RAUDENBUSH, S. W. Schooling, statistics, and poverty: can we measure school Improvement? New Jersey: Educational Testing Service, 2004

RAUDENBUSH, S. W. What are value-added models of estimating and what does this imply for statistical practice. Journal of Educational and Behavioral Statistics, 29(1), 121-129, 2004b.

RUBIN, D. B. Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psychology, 66(5), 688-701, 1974

RUBIN, D. B., STUART, E. A. & ZANUTTO, E. L. A potential outcomes view of value-added assessment in education. Journal of Educational and Behavioral Statistics, 29, 103-116, 2004.

SALVADOR, JOSÉ; GONÇALVES, J. O MOODLE Como Ferramenta De Apoio a Uma Disciplina Presencial De Ciências Exatas. Anais do XXXIV Congresso Brasileiro de Ensino de Engenharia, v. 1, n. 1941, p. 7122 – 7131, 2006.

SOARES, J. F., RIBEIRO, L. & CASTRO, C. M. Valor agregado de instituições de ensino superior em Minas Gerais para os cursos de Direito, Administração e Engenharia Civil. Dados, 44(2) 363-396, 2001.

STEVENS, S.S. On the Theory of Scales of Measurement. Science 103 (2684): 677– 680, 1946. Disponível em: doi:10.1126/science.103.2684.677. PMID 17750512. Acessado em: 16 Nov, 2016

URBINA, S. Essentials of Psychological Testing. New Jersey: John Wiley & Sons, Inc., 2004.

WAINER, H. et al. Computerized adaptive testing: A primer. Lawrence Erlbaum Associates, Inc, 1990. Disponível em: <http://www.springerlink.com/index/M58R14228306306V.pdf>. Acesso em: 03 Jul, 2016.

Downloads

Publicado

2017-09-08

Como Citar

SANTANA, L. F.; BARTHOLOMEU, D.; MONTIEL, J. M.; COUTO, G.; BERBERIAN, A. A.; PESSOTO, F. Avaliação informatiza adaptativa do ENADE pelo MOODLE: evidências de validade. Informática na educação: teoria & prática, Porto Alegre, v. 20, n. 2 mai/ago, 2017. DOI: 10.22456/1982-1654.69900. Disponível em: https://seer.ufrgs.br/index.php/InfEducTeoriaPratica/article/view/69900. Acesso em: 28 mar. 2024.