A Computational Strategy for Classification of Enem Issues Based on Item Response Theory

Gustavo Henrique Nunes, Bruno Alberto Soares Oliveira, Ciniro Aparecido Leite Nametala

Abstract


The National High School Examination (ENEM) gains each year more importance, as it gradually, replacing traditional vestibular. Many simulations are done almost randomly by teachers or systems, with questions chosen without discretion. With this methodology, if a test needs to be reapplied, it is not possible to recreate it with questions that have the same difficulty as those used in the first evaluation. In this context, the present work presents the development of an ENEM Intelligent Simulation Generation System that calculates the parameters of Item Response Theory (TRI) of questions that have already been applied in ENEM and, based on them, classifies them. in groups of difficulty, thus enabling the generation of balanced tests. For this, the K-means algorithm was used to group the questions into three difficulty groups: easy, medium and difficult. To verify the functioning of the system, a simulation with 180 questions was generated along the ENEM model. It could be seen that in 37.7% of cases this happened. This hit rate was not greater because the algorithm confounded the difficulty of issues that are in close classes. However, the system has a hit rate of 92.8% in the classification of questions that are in distant groups.


Keywords


Item response theory; Classification algorithms

Full Text:

PDF

References


RIBEIRO, A. G.; MENDES, A. A. A dificuldade de resoluc ̧a ̃o das questo ̃es de matema ́tica do exame nacional do ensino me ́dio: ineficieˆncia matema ́tica ou interpretativa? 2016. Dispon ́ıvel em: ⟨http://pensaracademico.facig.edu.br/ index.php/semiariocientifico/article/viewFile/127/106⟩.

CASTRO, L. G. M. de. Ana ́lise dos microdados do enem a partir da teoria da resposta ao item. UFMG, Belo Horizonte, 2017.

INEP. Enem 2017 tem 7,6 milho ̃es de inscritos. 2017. Dispon ́ıvel em: ⟨http://portal.inep.gov.br/ artigo/-/asset publisher/B4AQV9zFY7Bv/content/ enem-2017-tem-7-6-milhoes-de-inscritos/21206⟩.

MINGOTI, S. A. Ana ́lise de dados atrave ́s de me ́todos de estat ́ıstica multivariada. Belo Horizonte: Editora UFMG, 2005.

FUENTES, A. Em ranking da educac ̧a ̃o com 36 pa ́ıses, Brasil fica em penu ́ltimo. 2017. Dispon ́ıvel em: ⟨https://veja.abril.com.br/blog/impavido-colosso/⟩.

CONSULTADORIA, C. Escolas particulares tem lucro ate ́ 30 % maior em 2017 devido a queda da inflac ̧a ̃o. 2017. Dispon ́ıvel em: ⟨https: //castromarketing.com.br/escola-particular/⟩.

OLIVEIRA, B. A. S.; ASSIS, S.; NOLLI, C. Development of a prototype electrical energy monitoring system via internet/desenvolvimento de um proto ́tipo de sistema de monitoramento de energia ele ́trica via internet. Revista de Engenharia da Universidade Cato ́lica de Petro ́polis, v. 12, n. 1, p. 48–61, 2019.

CASTORIL, B. R. Previsa ̃o de demanda de energia ele ́trica no setor de produc ̧a ̃o do latic ́ınio do ifmg campus bambu ́ı utilizando regressa ̃o de vetores de suporte. Engenharia de Computac ̧a ̃o, 2018.

MATIAS, L.; TOLEDO, S. Enem: veja como 1.434 instituic ̧o ̃es usam a nota do exame. 2016. Dispon ́ıvel

em: ⟨https://guiadoestudante.abril.com.br/enem/ enem-como-1-434-instituicoes-usam-a-nota-do-exame-2/⟩. Acesso em: 20 jul. 2018.

ANDRADE, D. F. de; TAVARES, H. R.; VALLE, R. da C. Teoria de resposta ao item: Conceitos e aplicac ̧o ̃es. Caxambu, p. 1–164, 2000.

MOREIRA, F. G. Ca ́lculo das proficieˆncias dos alunos de mg na prova de matema ́tica do enem de 2011 atrave ́s de um modelo da teoria de resposta ao item. UFMG, Belo Horizonte, 2014.

RICHARDSON, M. W. The relation between the difficulty and the differential validity of a test. Psychometrika, Springer, v. 1, n. 2, p. 33–49, 1936.

TUCKER, L. R. Maximum validity of a test with equivalent items. Psychometrika, Springer, v. 11, n. 1, p. 1–13, 1946.

LAZARSFELD, P. F. The logical and mathematical foundation of latent structure analysis. Studies in Social Psychology in World War II Vol. IV: Measurement and Prediction, Princeton University Press, p. 362–412, 1950.

LORD, F. A theory of test scores. Psychometric monographs, 1952.

PASQUALI, L.; PRIMI, R. Fundamentos da teoria da resposta ao item: Tri. Avaliac ̧ao Psicologica: Interamerican Journal of Psychological Assessment, Instituto Brasileiro de Avaliac ̧a ̃o Psicolo ́gica (IBAP), v. 2, n. 2, p. 99–110, 2003.

VALLE, R. da C. Teoria de resposta ao item. Estudos em avaliac ̧a ̃o educacional, n. 21, p. 7–92, 2000.

ROSSI, F. O Enem e a Teoria de Resposta ao Item (TRI). 2016. Dispon ́ıvel em: ⟨https://manualdoestudo.deaaz.com.br/ 2016/10/07/o-enem-e-a-teoria-de-resposta-ao-item/⟩.

MILLER, K.; JORDAN, M. I.; GRIFFITHS, T. L. Nonparametric latent feature models for link prediction. In: Advances in neural information processing systems. [S.l.: s.n.], 2009. p. 1276–1284.

PASQUALI, L. Psychometrics. Revista da Escola de Enfermagem da USP, SciELO Brasil, v. 43, n. SPE, p. 992–999, 2009.

WANG, J.-L.; CHIOU, J.-M.; MULLER, H.-G. Functional data analysis. Annual Review of Statistics and Its Application, Annual Reviews, v. 3, p. 257–295, 2016.

BISHOP, C. M. Pattern recognition and machine learning. [S.l.]: springer, 2006.

ASSIS, S. S. de. Desenvolvimento de um proto ́tipo para classificac ̧a ̃o de perfis de pulverizac ̧a ̃o utilizando processamento digital de sinais e redes neurais artificiais. Engenharia de Computac ̧a ̃o, 2017.

OLIVEIRA, B. A. S. et al. Avaliac ̧a ̃o de uma rede neural artificial como estimador temporal pluviome ́trico no sistema de abastecimento cantareira. Revista de Informa ́tica Aplicada, v. 14, n. 1, 2018.

SANTOS, F. H. W. dos et al. Multicrite ́rio e reconhecimento de imagens em avaliac ̧a ̃o de embarcac ̧o ̃es.

TOWNSEND, J. T. Theoretical analysis of an alphabetic confusion matrix. Perception & Psychophysics, Springer, v. 9, n. 1, p. 40–50, 1971.

DATE, C. J. Introduc ̧a ̃o a sistemas de bancos de dados. [S.l.]: Elsevier Brasil, 2004.

ELMASRI, R. et al. Sistemas de banco de dados. Pearson Addison Wesley, 2005.

MAIER, D. The theory of relational databases. [S.l.]: Computer science press Rockville, 1983. v. 11.

HEYDON, A.; NAJORK, M. Mercator: A scalable, extensible web crawler. World Wide Web, Springer, v. 2, n. 4, p. 219–229, 1999.

AD, G. O que e ́ Crawler? 2017. Dispon ́ıvel em: ⟨https://support.google.com/webmasters/answer/182072⟩.

GOOGLE. Googlebot. 2017. Dispon ́ıvel em: ⟨https://support.google.com/webmasters/answer/182072⟩.

INEP. MICRODADOS. 2018. Dispon ́ıvel em: ⟨http://inep.gov.br/microdados⟩.

NUNES, C. H. Sancineto da S.; PRIMI, R. Impacto do tamanho da amostra na calibrac ̧a ̃o de itens e estimativa de escores por teoria de resposta ao item. Avaliac ̧a ̃o Psicolo ́gica, Instituto Brasileiro de Avaliac ̧a ̃o Psicolo ́gica, v. 4, n. 2, 2005.

TOIT, M. D. IRT from SSI: Bilog-MG, multilog, parscale, testfact. [S.l.]: Scientific Software International, 2003.

BARROSO, N. C.; RODRIGUES, M. A. Comparac ̧o ̃es dos softwares bilog-mg e r no uso da teoria de resposta ao item. 2012.

LTM, R. D. an r package for latent variable modeling and item response theory analyses. J Stat Softw, v. 17, n. 5, p. 1–25, 2006.

ANJOS, A. dos; ANDRADE, D. F. de. Teoria da resposta ao item com uso do r. 2012.

CHALMERS, R. P. mirt: A multidimensional item response theory package for the R environment. Journal of Statistical Software, v. 48, n. 6, p. 1–29, 2012.

SARTES, L. M. A.; SOUZA-FORMIGONI, M. L. O. d. Avanc ̧os na psicometria: da teoria cla ́ssica dos testes a` teoria de resposta ao item. Psicologia: Reflexa ̃o e Cr ́ıtica, Curso de Po ́s-Graduac ̧a ̃o em Psicologia da Universidade Federal do Rio Grande do Sul, 2013.

LEONI, R. C.; SAMPAIO, N. A. de S. Desempenho das escolas pu ́blicas e privadas da regia ̃o do vale do para ́ıba: Uma aplicac ̧a ̃o da te ́cnica de agrupamentos kmeans com base nas varia ́veis do enem 2015. Cadernos do IME-Se ́rie Estat ́ıstica, v. 42, p. 31, 2017.

OCAMPO, D. M.; TOLENTINO-NETO, L. C. B. de. Cluster analysis for data processing in educational research. Acta Scientiae, v. 21, n. 4, p. 34–48, 2019.

BARROS, A. J. da S.; LEHFELD, N. A. de S. Fundamentos de metodologia cient ́ıfica. [S.l.]: Pearson, 2007.

PINSONNEAULT, A.; KRAEMER, K. Survey research methodology in management information systems: an assessment. Journal of management information systems, Taylor & Francis, v. 10, n. 2, p. 75–105, 1993.

MASCARENHAS, S. Metodologia cient ́ıfica. [S.l.]: Pearson, 2017.

GERHARDT, T. E.; SILVEIRA, D. T. Me ́todos de pesquisa. [S.l.]: Plageder, 2009.

OLHONAVAGA. Olho na vaga. 2018. Dispon ́ıvel em: ⟨https://olhonavaga.com.br⟩.

SELENIUMHQ. SeleniumHQ. 2018. Dispon ́ıvel em: ⟨https://www.seleniumhq.org⟩.

PEDREGOSA, F. et al. Scikit-learn: Machine learning in python. Journal of machine learning research, v. 12, n. Oct, p. 2825–2830, 2011.

MOZILLA. Geckodriver. 2018. Dispon ́ıvel em: ⟨https://github.com/mozilla/geckodriver/releases⟩.

COPELAND, R. Essential sqlalchemy. [S.l.]: ” O’Reilly Media, Inc.”, 2008.

REITZ, K. Requests. 2018. Dispon ́ıvel em: ⟨http://docs.python-requests.org/en/master/⟩.

DUBOIS, P.; BY-WIDENIUS, M. F. MySQL. [S.l.]: New riders publishing, 1999.

ADLER, D. et al. Package ‘ff’. Universitaet Goettigen, Goettingen, Germany, p. 2–2, 2018.

HAWKINS, D. M. Identification of outliers. [S.l.]: Springer, 1980. v. 11.

HARTIGAN, J. A.; WONG, M. A. Algorithm as 136: A k-means clustering algorithm. Journal of the Royal Statistical Society. Series C (Applied Statistics), JSTOR, v. 28, n. 1, p. 100–108, 1979.

KANUNGO, T. et al. An efficient k-means clustering algorithm: Analysis and implementation. IEEE Transactions on Pattern Analysis & Machine Intelligence, IEEE, n. 7, p. 881–892, 2002.

ENEM, B. do. Prova do Enem – Saiba melhor como e ́ estruturado o exame. 2013. Dispon ́ıvel em: ⟨https://blogdoenem.com.br/prova-do-enem-exame/⟩.




DOI: https://doi.org/10.22456/2175-2745.92406

Copyright (c) 2020 Gustavo Henrique Nunes, Bruno Alberto Soares Oliveira, Ciniro Aparecido Leite Nametala

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Indexing databases:
        

Acknowledgments: