Avaliação informatiza adaptativa do ENADE pelo MOODLE: evidências de validade

Lucio Ferreira Santana, Daniel Bartholomeu, José Maria Montiel, Gleiber Couto, Arthur Almeida Berberian, Fernando Pessoto

Resumo


Testes informatizados adaptativos adquirem relevância quanto às possibilidades de estudos. Este estudo teve como objetivo relacionar dados de uma avaliação do ENADE do Curso do Direito. Participaram 92 pessoas. Foi utilizado dois instrumentos de medida de multipla escolha, um em papel e lápis e outro adaptado ao modelo informatizado adaptativo em ambiente MOODLE. Os resultados demonstraram que os itens estiveram dentro dos parâmetros de ajuste ao modelo investigado. A correlação entre os níveis de dificuldade dos itens nas duas formas, revelaram que os parâmetros dos itens se mantiveram os mesmos entre uma e outra forma de aplicação. Considera-se que estudos que se propõem a analisar os itens, recorrendo a TRI como meio de análise do modelo de Rasch, permitem aferir evidência de validade de construto. Sugere-se que novos estudos a respeito do ENADE, em modelo informatizado adaptativo, pois o ambiente MOODLE demonstrou ser um meio útil e eficaz de avaliação.

Palavras-chave


Avaliação Educacional. TRI. Modelo de Rasch

Texto completo:

PDF

Referências


AAKER, ET AL Marketing Research (7th Ed.), New York: John Wiley & Sons, Inc, 2001. Disponível em: , Acesso em: 11 dez. 2015.

ADAPTIVE QUIS ENGINE. Disponível em: , Acesso em: 11 dez, 2015.

AERA; APA; NCME (American Educational Research Association; American Psychological Association; National Council on Measurement in Education). Standards for Educational and Psychological Testing. Washington, DC: AERA, 1999.

ANASTASI, A., & URBINA, S. Testagem Psicológica. Porto Alegre: Artes Médicas. Andrade, D. F., Tavares, H. R., & Valle, R. C. Teoria da Resposta ao Item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

BARTHOLOMEU, D., SILVA, M. C. R., PIRES, S. D., & PRIMI, R.. Estabelecimento de pontos de corte pela TRI para uma prova equalizada com o ENADE. Em F. C.-Capovilla. (Org.). Transtornos de aprendizagem: Progressos em avaliação e intervenção preventiva e remediativa (p. 229-238), v. 1, São Paulo: Memnon, 2011.

BOND, T. G., & FOX, C. M. Applying the Rasch model: Fundamental measurement in the human sciences. London: Lawrence Erlbaum Associates, 2001

BRASIL. Sistema nacional de avaliação do ensino superior - sinaes. 2015. Disponível em: , Acesso em: 21 abr. 2015

CHAGAS, D. A.; LISBOA, R. P.; FURTADO, E. S. Framework MAAVA Metodologia de Avaliação de Ambientes Virtuais de Aprendizagem. Anais do Simpósio Brasileiro de Informática na Educação, p. 856–859, 2011.

COMPUTER-ADAPTIVE TESTING: A Methodology Whose Time Has Come. Disponível em : , Acesso em: 11 dez. 2015.

COSTA, D. R. Métodos estatísticos em testes adaptativos informatizados. Dissertação (Mestrado) — Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2009. Disponível em: . Acesso em: 03 Jul, 2016.

DOUGIAMAS, M. Reading and Writing for Internet Teaching, 1999. Disponível em: , Acesso em: 11 dez. 2015.

ELLIS, R. Field Guide to Learning Management Systems, ASTD Learning Circuits, 2009. Disponível em: . Acessado em: 15 abril de 2016

FERRÃO, M. E. Introdução aos modelos de regressão multinível em educação. Campinas: Komedi, 2003.

FRANCISCATO, F. T. et al. Avaliação dos Ambientes Virtuais de Aprendizagem MOODLE, TelEduc e Tidia - Ae: um estudo comparativo. Novas Tecnologias na Educação, v. 6, n. 2, p. 5–10, 2008.

HALKITIS, P. N. CAT algorithm. Rasch Measurement Transactions, v. 6:4, p.254-5, 1993.

JESUS, G. R. & LAROS, J. A.. Eficácia escolar: regressão multinível com dados de avaliação em larga escala. Avaliação Psicológica, 3(2), 93-106, 2004.

JESUS, F. DE; JUNIOR, M.; TEZZA, R. Algoritmo de um teste adaptativo informatizado com base na teoria da resposta ao item para a estimação da usabilidade de sites de e-commerce. Produção, v. 23, n. 2010, p. 525–536, 2013.

LANDEIRA-FERNANDEZ, J., & PRIMI, R. (2002). Comparação do desempenho entre calouros e formandos no Provão de Psicologia 2000. Psicologia: Reflexão e Crítica, 15(1), 219-234.

LEGOINHA, P., Brilha, J. & Neves, L. Geologia e Internet em Portugal. Ciências da Terra (UNL), Lisboa, nº especial IV, pp. 9-15, 2000. Disponível em: , Acesso em: 11, dez, 2015

LEGOINHA, P. O MOODLE e as comunidades virtuais de aprendizagem The MOODLE and the virtual learning communities. SciencesNew York, v. 1, p. 1–4, 2006.

LEITE, E. A. M. et al. Avaliação Assistida , Feedbacks e Questionários do MOODLE. Anais do XXII SBIE - XVII WIE, n. Novembro 2011, p. 2303–2313, 2011.

LINACRE, J. M. Computer-Adaptive Testing : A Methodology Whose Time Has Come. Development of Computerized Middle School Achievement Test, n. 69, 2000.

LINACRE, J. M. What do infit and outfit, mean-square and standardized mean? Rasch Measurement Transactions,16(2), 887, 2002.

MAKRANSKY, G. & GLAS, C.A.W. The Applicability of Multidimensional Computerized Adaptive Testing for Cognitive Ability Measurement in Organizational Assessment. International Journal of Testing, 13(2), 123-139, 2013.

MOODLE, 2015. Disponível em: , Acesso em: 15 fev 2015.

MOREIRA, F. Sistemática para a implantação de testes adaptativos informatizados baseados na teoria da resposta ao item. Tese (Doutorado) — Universidade Federal de Santa Catarina, Florianópolis, 2011. Disponível em: . Acesso em: 03 Jul, 2016.

OLEA, J. et al. Un test adaptativo informatizado para evaluar el conocimiento de inglés escrito: diseõ y comprobaciones psicométricas. Psicothema, v. 16, n. 3, p. 519–525, 2004. Disponível em: http://www.unioviedo.es/reunido/index.php/PST/article/view/8230. Acesso em: 03 jul, 2016.

PORTUGUAL, FCT (Faculdade de Ciências e Tecnologia), 2015. Disponível em: . Acesso em: 15 Out, 2015

PULINO, A. R., MOODLE, um sistema de gerenciamento de cursos. Brasília/DF: Departamento de Engenharia Civil e Ambiental, Universidade de Brasília. Sob Licença da Creative Commons (2005).

RASCH, G. Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute for Educational Research, 1960

RAUDENBUSH, S. W. Schooling, statistics, and poverty: can we measure school Improvement? New Jersey: Educational Testing Service, 2004

RAUDENBUSH, S. W. What are value-added models of estimating and what does this imply for statistical practice. Journal of Educational and Behavioral Statistics, 29(1), 121-129, 2004b.

RUBIN, D. B. Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psychology, 66(5), 688-701, 1974

RUBIN, D. B., STUART, E. A. & ZANUTTO, E. L. A potential outcomes view of value-added assessment in education. Journal of Educational and Behavioral Statistics, 29, 103-116, 2004.

SALVADOR, JOSÉ; GONÇALVES, J. O MOODLE Como Ferramenta De Apoio a Uma Disciplina Presencial De Ciências Exatas. Anais do XXXIV Congresso Brasileiro de Ensino de Engenharia, v. 1, n. 1941, p. 7122 – 7131, 2006.

SOARES, J. F., RIBEIRO, L. & CASTRO, C. M. Valor agregado de instituições de ensino superior em Minas Gerais para os cursos de Direito, Administração e Engenharia Civil. Dados, 44(2) 363-396, 2001.

STEVENS, S.S. On the Theory of Scales of Measurement. Science 103 (2684): 677– 680, 1946. Disponível em: doi:10.1126/science.103.2684.677. PMID 17750512. Acessado em: 16 Nov, 2016

URBINA, S. Essentials of Psychological Testing. New Jersey: John Wiley & Sons, Inc., 2004.

WAINER, H. et al. Computerized adaptive testing: A primer. Lawrence Erlbaum Associates, Inc, 1990. Disponível em: . Acesso em: 03 Jul, 2016.




Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial-CompartilhaIgual 4.0 Internacional.

INFORMÁTICA NA EDUCAÇÃO: teoria & prática. e-ISSN: 1982-1654 ISSN Impresso:1516-084X