A COMPREHENSIVE DISCUSSION OF THE PROCESS OF VALIDATION AND ANALYSIS OF TEXTBOOK ATTRIBUTES IN THE PNLD

Authors

  • Álvaro Sobrinho Universidade Federal do Agreste de Pernambuco, Garanhuns, PE, Brasil https://orcid.org/0000-0002-1753-1890
  • Ig Ibert Bittencourt Universidade Federal de Alagoas , Instituto de Computação Maceió, AL, Brasil e Harvard Graduate School of Education, Cambridge, MA, Estados Unidos
  • Alan Pedro da Silva Universidade Federal de Alagoas, Instituto de Computação, Centro de Educação, Maceió, AL, Brasil
  • Diego Dermeval Universidade Federal de Alagoas, Instituto de Computação, Centro de Educação, Maceió, AL, Brasil https://orcid.org/0000-0002-8415-6955
  • Leonardo Brandão Marques Universidade Federal de Alagoas, Centro de Educação, Maceió, AL, Brasil
  • Andressa Carvalho Melo da Silveira Universidade Federal de Campina Grande, Campina Grande, PB, Brasil
  • Nadja Cézar Ianzer Rodrigues Fundo Nacional de Desenvolvimento da Educação, Brasília, DF, Brasil
  • Ana Carolina Silva e Souza Fundo Nacional de Desenvolvimento da Educação, Brasília, DF, Brasil https://orcid.org/0009-0009-2594-5848
  • Rafael Ferreira Universidade Federal Rural de Pernambuco, Laboratório de Inteligência Artificial, Centro de Estudos e Sistemas Avançados do Recife Recife, PE, Brasil e CESAR School
  • Seiji Isotani Universidade de São Paulo, Área de Computação e Tecnologias Educacionais, Instituto de Ciências Matemáticas e de Computação ,São Carlos, SP, Brasil, Harvard University, Harvard Graduate School of Education, Cambridge, MA, Estados Unido

DOI:

https://doi.org/10.21573/vol39n12023.125803

Keywords:

Ishikawa Diagram, PNLD, Process Improvement

Abstract

This article aims to conduct a qualitative and quantitative evaluation of the process of validation and analysis of attributes that comprise the screening stage of the National Book and Teaching Material Program. The current process needs improvement, considering that it is impacted by the gradual expansion of the quantity and variety of registered materials, resulting in risks of reduced quality in deliveries and increased time to complete tasks. This problem is discussed based on the identification of causes documented in an Ishikawa diagram and the presentation of evidence.

Downloads

Download data is not yet available.

Author Biographies

Álvaro Sobrinho, Universidade Federal do Agreste de Pernambuco, Garanhuns, PE, Brasil

Possui Doutorado em Ciência da Computação pela Universidade Federal de Campina Grande (2013-2016). É pesquisador no Laboratório de Sistemas Embarcados e Computação Pervasiva (Embedded) da Universidade Federal de Campina Grande (2013-atual) no Núcleo de Excelência em Tecnologias Sociais
(NEES) da Universidade Federal de Alagoas (2022-atual). É atualmente professor efetivo do Curso de Bacharelado em Ciência da Computação da Universidade Federal do Agreste de Pernambuco (UFAPE). É atualmente professor permanente do Programa de Pós-Graduação em Informática (PPGI) do Instituto de Computação (IC) na Universidade Federal de Alagoas, Campus Maceió. Foi membro da comissão de estudo de aspectos comuns de segurança para equipamento eletromédico (Associação Brasileira de Normas Técnicas - ABNT, 2020-2022). Atua, desde 2011, no desenvolvimento de modelos matemáticos, métodos, técnicas e sistemas para assistência médica. E-mail: alvaro.alvares@ufape.edu.br

Ig Ibert Bittencourt , Universidade Federal de Alagoas , Instituto de Computação Maceió, AL, Brasil e Harvard Graduate School of Education, Cambridge, MA, Estados Unidos

Professor Associado do Instituto de Computação da Universidade Federal de Alagoas (UFAL), bolsista do CNPq DT-1D e foi membro do Comitê de Assessoramento de Bolsas de Produtividade em Desenvolvimento Tecnológico e Extensão Inovadora (CA-DT - 2019 - 2021). Em 2009, recebeu o título de Doutor pela Universidade Federal de Campina Grande (UFCG) e em 2013 fez Pós- Doutorado na Universidade Estatual de Campinas (UNICAMP). Foi pesquisador visitante em diferentes países (como Japão, Canadá, Alemanha, China, Estados Unidos e Brasil). Ig foi Diretor-Geral do Núcleo de Excelência em Tecnologias Sociais (2011-2022), Vice-Presidente (2012-2015) e Presidente (2016-2017) da Comissão Especial de Informática na Educação, Representante Consultivo da UFAL no W3C (2013-2017), Representante da SBC do TC on Education - TC 3 da International Federation For Information Processing - IFIP (2016-2017). Atualmente, é Membro do Comitê Gestor da Rede de Inovação para Educação Brasileira - Rede IEB (desde 2016), da Sociedade Brasileira de Computação (desde
2005), da Association for Computing Machinery - ACM (desde 2009), da Institute of Electrical and Electronics Engineers - IEEE (desde 2009) e da Sociedade de Inteligência Artificial na Educação (desde 2016). Atualmente, Ig Bittencourt atua em parceria com o Ministério de Educação na concepção de Políticas de Tecnologias Educacionais baseadas em Evidências. E-mail: ig.ibert@ic.ufal.br

Alan Pedro da Silva, Universidade Federal de Alagoas, Instituto de Computação, Centro de Educação, Maceió, AL, Brasil

Possui graduação em Ciência da Computação pela UFAL, mestrado em Modelagem Computacional de Conhecimento pela UFAL e doutorado em Ciência da Computação pela UFCG. É um dos fundadores do NEES (https://nees.ufal. br/) em 2011, que, desde sua origem, tem como objetivo impactar a transformação social brasileira, através da educação. Também contribui com o grupo Comunidades
Virtuais, liderado pela Prof. Lynn Alves (UFBA). É Professor Associado do Instituto de Computação e do Centro de Educação, ambos da UFAL. Possui ampla experiência em pesquisas em Computação aplicada à Educação, levando resultados para: (i) a Indústria, como fundador e pesquisador da Empresa MeuTutor (Vencedora do prêmio Rio Info 2014); (ii) Desenvolvimento de Políticas Públicas
de Abrangência Nacional, como no desenvolvimento do Guia de Tecnologia do MEC; (iii) E atualmente na Coordenação Geral do Processo de Triagem do Programa Nacional do Livro Didático. Desenvolve suas pesquisas em Computação Aplicada à Educação tendo como premissas a equidade e o bem-estar social. Como foco central de sua pesquisa, tem como alvo contribuir no aprendizado e no bemestar
de crianças com TDAH através de jogos digitais. E-mail: alanpedro@ic.ufal.br

Diego Dermeval, Universidade Federal de Alagoas, Instituto de Computação, Centro de Educação, Maceió, AL, Brasil

É Professor Adjunto da Universidade Federal de Alagoas (UFAL), com atuação no Programa de Pós-graduação em Informática do Instituto de Computação da UFAL, no Mestrado Profissional em Ensino na Saúde da Faculdade de Medicina e no Doutorado em Ensino (RENOEN) do Centro de Educação. Doutor em Ciência da Computação pela Universidade Federal de Campina Grande (UFCG) com período
sanduíche no Department of Computer Science da University of Saskatchewan (U of S - Canadá). Recebeu o Prêmio Alexandre Direne de Teses, Dissertações e Trabalhos de Conclusão de Curso em Informática na Educação (3ª melhor tese de doutorado) em 2017. Tem se dedicado a realizar pesquisas na área de Inteligência Artificial na Educação (AIED), trabalhando no projeto, desenvolvimento e
experimentação de tecnologias educacionais inteligentes. Foi pesquisador visitante no Instituto de Ciências Matemáticas e da Computação (ICMC) da Universidade de São Paulo (USP, 2017 e 2018). É diretor do Núcleo de Excelência em Tecnologias Sociais (NEES - IC/UFAL) e membro do Multi-Agent Distributed Mobile and Ubiquitous Computing Lab (MADMUC - Canadá). Atualmente é consultor do
Ministério da Educação coordenando projetos relacionados ao desenvolvimento de Políticas de Tecnologias Educacionais baseadas em Evidências. E-mail: diego.matos@famed.ufal.br

Leonardo Brandão Marques, Universidade Federal de Alagoas, Centro de Educação, Maceió, AL, Brasil

Professor Adjunto do Centro de Educação da Universidade Federal de Alagoas (UFAL). Doutor em Psicologia (UFSCar) com período sanduíche em University of Massachusetts Medical School (Orientador: William McIlvane) e pós-doutorado no Laboratório de Computação Aplicada à Educação (ICMC-USP). Trabalha na interface entre os processos de aprendizagem, a Computação e a Educação.
Atualmente pesquisa sobre os seguintes temas: análise do comportamento, Informática na educação, aprendizagem relacional, alfabetização e gamificação. Seu mais recente projeto busca integrar Inteligência Artificial no Ensino das habilidades iniciais de Leitura. Integrante do Núcleo de Excelência em Tecnologias Sociais (NEES), atua como consultor do Ministério da Educação do Brasil, desde 2017,
em projetos relacionados à avaliação de tecnologias educacionais, em especial os aspectos relacionados à acessibilidade. Coordenador do Relatório de consolidação da consulta pública de subsídios à proposição da Política Nacional de Educação Especial de 2019-2020. Grupos de Pesquisa dos quais participa: http://plsql1.cnpq.br/buscaoperacional/detalheest.jsp? E-mail: leonardo.marques@cedu.ufal.br

Andressa Carvalho Melo da Silveira, Universidade Federal de Campina Grande, Campina Grande, PB, Brasil

Possui Graduação em Análise e Desenvolvimento de Sistemas pela Universidade Estadual de Alagoas (2010-2012), especialização em Administração de Banco de Dados pela Universidade Estácio de Sá (2015-2017). Possui mestrado em Informática pela Universidade Federal de Alagoas - UFAL (2018-2020) na Linha de pesquisa computação visual e inteligente. Atualmente, cursa doutorado em
Engenharia de Elétrica pela Universidade Federal de Campina Grande - UFCG. Entre os temas de interesse em pesquisa atualmente estão Aprendizagem de máquina, inteligência artificial e sistemas especialistas. E-mail: andressa.queiroz@ee.ufcg.edu.br

Nadja Cézar Ianzer Rodrigues, Fundo Nacional de Desenvolvimento da Educação, Brasília, DF, Brasil

Possui graduação em Letras – Espanhol pela Universidade de Brasília. Trabalha no Fundo Nacional de Desenvolvimento Educacional Desde 2008. Coordenadora-Geral dos Programas do Livro executando a PNLD.  E-mail: nadja.rodrigues@fnde.gov.br

Ana Carolina Silva e Souza, Fundo Nacional de Desenvolvimento da Educação, Brasília, DF, Brasil

É bacharel em Relações Internacionais (UNIEURO, 2006) e em Ciências Sociais com habilitação em Antropologia (UnB, 2010). Também é licenciada em Ciências Sociais (UnB, 2008) e mestra em Antropologia da Educação e da Globalização (Aarhus, 2019). Atualmente trabalha na Coordenação-Geral dos Programas do Livro, no Fundo Nacional de Desenvolvimento da Educação. As áreas de interesse são a antropologia da educação, a antropologia da globalização e literatura infantil.
E-mail: ana.souza@fnde.gov.br

Rafael Ferreira , Universidade Federal Rural de Pernambuco, Laboratório de Inteligência Artificial, Centro de Estudos e Sistemas Avançados do Recife Recife, PE, Brasil e CESAR School

Doutor em Ciência da Computação com interesses de pesquisa que abrangem processamento de linguagem natural, learning analytics e tecnologia educacional. É professor na Universidade Federal Rural de Pernambuco e no Cesar School, no Brasil, onde é um dos coordenadores do Laboratório de Inteligência Artificial(https://aiboxlab.org/), que desenvolve várias iniciativas relacionadas a learning
analytics (LA). Realizou pós-doutorado na Escola de Informática da Universidade de Edimburgo em 2018, onde continua a ter colaborações. Ele trabalha em vários projetos de pesquisa multinacionais, que envolvem parceiros acadêmicos e empresas na Europa, Austrália, Estados Unidos e América Latina. A experiência anterior do Dr. Mello também inclui um projeto de pesquisa financiado pela Hewlett-Packard, onde atuou como líder técnico. Um tema-chave de sua pesquisa recente tem sido o
uso do processamento de linguagem natural aplicados como educação e temas mais focados em análise de textos como sumarização e classificação. E-mail: rafael.mello@ufrpe.br

Seiji Isotani , Universidade de São Paulo, Área de Computação e Tecnologias Educacionais, Instituto de Ciências Matemáticas e de Computação ,São Carlos, SP, Brasil, Harvard University, Harvard Graduate School of Education, Cambridge, MA, Estados Unido

Professor Titular na área de Computação e Tecnologias Educacionais junto ao Instituto de Ciências Matemáticas e de Computação da Universidade de São Paulo (ICMC-USP). Possui Doutorado em Engenharia da Informação na Osaka University (Japão) com tese na área de Inteligência Artificial aplicada à Educação e Pós-Doutorado em Ciências Cognitivas na Carnegie Mellon University (EUA).
É cofundador do Laboratório de Computação Aplicada à Educação e Tecnologia Social Avançada do ICMC-USP. Foi Editor-Chefe da Revista Brasileira de Informática na Educação (RBIE), Editor Associado da IEEE Transactions on Learning Technologies, Membro do Conselho Municipal de Educação de São
Carlos, Membro da Comissão Especial de Informática na Educação (CEIESBC), Membro do Comitê Julgador de Bolsas Institucionais do PIBIT no CNPq e Representante brasileiro no Comitê Técnico em Educação (TC3) da IFIP. Atua desde 2017 como assessor técnico-científico junto ao Ministério de Educação na concepção e execução de Políticas Públicas em Tecnologias Educacionais baseadas em Evidências. Atualmente é Vice-Presidente da Academia Brasileira de Tecnologias Educacionais, membro do Comitê Gestor da Rede de Inovação para a Educação Brasileira, ACM Distinguished Speaker, Membro Sênior da IEEE, Editor Associado do Periódico Frontiers in Artificial Intelligence e bolsista produtividade do CNPq. É professor visitante em Harvard Graduate School of Education, USA.
Personal Website: https://sites.icmc.usp.br/sisotani. E-mail: sisotani@icmc.usp.br

References

AIN, N. et al. Two decades of research on business intelligence system adoption, utilization and success – A systematic literature review. Decision Support Systems, v. 125, p. 113113, jul. 2019. Disponível em: https://doi.org/10.1016/j.dss.2019.113113. Acesso em: 17 out. 2023.

ALBUQUERQUE, E. B. C. DE; FERREIRA, A. T. B. Programa nacional de livro didático (PNLD): mudanças nos livros de alfabetização e os usos que os professores fazem desse recurso em sala de aula. Ensaio: Avaliação e Políticas Públicas em Educação, v. 27, n. 103, p. 250–270, jun. 2019. Disponível em: https://doi.org/10.1590/S0104-40362019002701617. Acesso em: 17 out. 2023.

BIANCO, A. A. G. Análise do conteúdo imagético de nutrição humana em livros didáticos de Ciências aprovados pelo Programa Nacional do Livro Didático 2014. ABCS Health Sciences, v. 40, n. 3, 21 dez. 2015. Disponível em: https://doi.org/10.7322/abcshs.v40i3.803. Acesso em: 17 out. 2023.

BRIZ-REDÓN, Á. Respondent Burden Effects on Item Non-Response and Careless Response Rates: An Analysis of Two Types of Surveys. Mathematics, v. 9, n. 17, p. 2035, 24 ago. 2021. Disponível em: https://doi.org/10.3390/math9172035. Acesso em: 17 out. 2023.

CARVALHO, R. et al. Analysis of root causes of problems affecting the quality of hospital administrative data: A systematic review and Ishikawa diagram. International Journal of Medical Informatics, v. 156, p. 104584, dez. 2021. Disponível em: https://doi.org/10.1016/j.ijmedinf.2021.104584. Acesso em: 17 out. 2023.

COHEN, J. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, v. 20, n. 1, p. 37–46, abr. 1960. Disponível em: https://doi.org/10.1177/001316446002000104. Acesso em: 17 out. 2023.

COPATTI, C.; ANDREIS, A. M. Políticas públicas educacionais no Brasil pós redemocratização: percursos à cidadania? Geopauta, [S. l.], v. 4, n. 1, p. 69-91, 2020. Disponível em: https://periodicos2.uesb.br/index.php/geo/article/view/6155. Acesso em: 3 jun. 2022.

SOUZA, L. H. P.; REGO, S. C. R. Imagens em Livros Didáticos de Ciências e as Orientações do Programa Nacional do Livro Didático. Ensaios Pedagógicos, v. 2, n. 3, 2018. Disponível em: https://www.ensaiospedagogicos.ufscar.br/index.php/ENP/article/view/104. Acesso em: 17 out. 2023.

STERNBERG, J. Google Cloud BrandVoice: Beyond Spreadsheets. Disponível em: https://bit.ly/3rkpb3G. Acesso em: 31 maio 2022.

HÖFLING, E. DE M. Notas para discussão quanto à implementação de programas de governo: em foco o Programa Nacional do Livro Didático. Educação & Sociedade, v. 21, n. 70, p. 159–170, abr. 2000. Disponível em: https://doi.org/10.1590/S0101-73302000000100009. Acesso em: 17 out. 2023.

IDRIS, N. I. et al. A Case Study of Coffee Sachets Production Defect Analysis Using Pareto Analysis, P-Control Chart and Ishikawa Diagram. Lecture Notes in Mechanical Engineering, p. 1295–1305, 2021. Disponível em: https://doi.org/10.1007/978-981-16-0866-7_115. Acesso em: 17 out. 2023.

MANOEL, C. C.; SILVA, M.; VALERO, P. Happy and healthy families! Financial mathematics and the making of the homus oeconomicus. Proceedings of the Tenth International Mathematics Education and Society Conference, 2019. Disponível em: https://su.diva-portal.org/smash/record.jsf?pid=diva2%3A1425854&dswid=6471. Acesso em: 17 out. 2023.

MCHUGH, M. L. Interrater reliability: the kappa statistic. Biochemia Medica, v. 22, n. 3, p. 276–282, 2012. Disponível em: https://doi.org/10.11613/BM.2012.031. Acesso em: 17 out. 2023.

RABIEE, M.; ASLANI, B.; REZAEI, J. A decision support system for detecting and handling biased decision-makers in multi criteria group decision-making problems. Expert Systems with Applications, p. 114597, jan. 2021. Disponível em: https://doi.org/10.1016/j.eswa.2021.114597. Acesso em: 17 out. 2023.

RICHARD, L. J.; KOCH, G. G. The Measurement of Observer Agreement for Categorical Data. Biometrics, v. 33, n. 1, p. 159–174, 1977. Disponível em: https://pubmed.ncbi.nlm.nih.gov/843571/. Acesso em: 17 out. 2023.

SAXENA, D.; MCDONAGH, J. Communication breakdowns during business process change projects – Insights from a sociotechnical case study. International Journal of Project Management, dez. 2021. Disponível em: https://doi.org/10.1016/j.ijproman.2021.11.011. Acesso em: 17 out. 2023.

SHARMA, G. V. S. S.; PRASAD, C. L. V. R. S.; RAMBABU, V. Online machine drawing pedagogy—A knowledge management perspective through maker education in the COVID ‐19 pandemic era. Knowledge and Process Management, 24 ago. 2021. Disponível em: https://doi.org/10.1002/kpm.1684. Acesso em: 17 out. 2023.

SOLARES, S. H. B.; BENZELL, S. G.; RAZO, R. Ranking How National Economies Adapt to Remote Work. Disponível em: https://sloanreview.mit.edu/article/ranking-how-national-economies-adapt-to-remote-work/. Acesso em: 17 out. 2023.

ZAMBON, L. B.; TERRAZZAN, E. A. Políticas de material didático no Brasil: organização dos processos de escolha de livros didáticos em escolas públicas de educação básica. Revista Brasileira de Estudos Pedagógicos, v. 94, n. 237, p. 585–602, ago. 2013. Disponível em: https://www.scielo.br/j/rbeped/a/4DgxPWYqB45jcHPYpnddVLv/?lang=pt. Acesso em: 17 out. 2023.

Downloads

Published

2023-12-22

How to Cite

Sobrinho, Álvaro, Ibert Bittencourt , I., Pedro da Silva, A., Dermeval, D., Brandão Marques, L., Carvalho Melo da Silveira, A., … Isotani , S. (2023). A COMPREHENSIVE DISCUSSION OF THE PROCESS OF VALIDATION AND ANALYSIS OF TEXTBOOK ATTRIBUTES IN THE PNLD. REVISTA BRASILEIRA DE POLÍTICA E ADMINISTRAÇÃO DA EDUCAÇÃO, 39(1). https://doi.org/10.21573/vol39n12023.125803

Issue

Vol. 39 (2023): RBPAE - Revista Brasileira de Política e Administração da Educação

Section

Artigos

License

Copyright (c) 2023 REVISTA BRASILEIRA DE POLÍTICA E ADMINISTRAÇÃO DA EDUCAÇÃO

Creative Commons License

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

The Brazilian Journal Policy and Administration of Education of the Brazilian Association Policy and Administration of Education uses the Creative Commons - Attribution-Non-Commercial 4.0 International license as a basis for transferring rights, for open access journals (Open Archives Initiative - OAI). Open access means free availability on the Internet so that users can read, download, copy, distribute, print, search or reference the full text of the documents, process them for indexing, use them as input data for software programs, or use them for any other legal purpose, without financial, legal or technical barriers.

 

Authors who publish in this journal agree with the following terms:

  1.  Authors retain the copyright and grant the journal the right to first publication, with the work simultaneously licensed under the Creative Commons Attribution License that allows the sharing of the article with acknowledgment of authorship and initial publication in this Journal.
  2. Authors are authorized to assume additional contracts separately, for the non-exclusive distribution of the version of the work published in this journal (eg, publishing in an institutional repository or as a book chapter), with acknowledgment of authorship and initial publication in this journal.
  3. Authors are allowed and encouraged to publish and distribute their work online (eg, in institutional repositories or on their personal page) at any point before or during the editorial process, as this can generate productive changes, as well as increase impact and citation of published work.