Evaluation of information accuracy in health sites: methods for constructing evidence-based indicators

Authors

  • Rodolfo Paolucci Fundação de Apoio à Escola Técnica do Estado do Rio de Janeiro (FAETEC) https://orcid.org/0000-0003-3986-1118
  • André de Faria Pereira neto Fundação Oswaldo Cruz (Fiocruz)
  • Paulo Nadanovsky Instituto de Medicina Social (IMS/UERJ) Fundação Oswaldo Cruz (Fiocruz)

DOI:

https://doi.org/10.19132/1808-5245274.137-188

Keywords:

Evidence-based medicine, Internet and access to information, /Criteria, Indicators of accuracy, Health Information, Health Sites.

Abstract

The problem of the quality of health information on the Internet has been pointed out in the last two decades. To address this problem, the evaluation of websites by professionals, researchers and institutions has been configured as a new field of research and action. One of the main issues in this field is related to the evaluation criteria. Accuracy is the most commonly used criterion, but we have identified a problem in its definition and application: admitting consensus among specialists as a quality parameter. However, the consensus does not guarantee a current and correct result. In this article, we present and discuss methods guided by evidence-based medicine for the construction of accuracy indicators. The set of methods developed comprises seven steps: search strategy, selection of evidence-based information sources, collection and selection of topics, development of the first version of indicators, and analysis of groups, topics and indicators. Our methods ensure the development of indicators according to the best and current scientific evidence. They solve the problem of the accuracy criterion for the field of evaluation of information quality on health sites and propose a new definition. The results of this study fill gaps in the knowledge of the field and guide future research and actions because they are replicable for any health subject.

Downloads

Download data is not yet available.

Author Biographies

Rodolfo Paolucci, Fundação de Apoio à Escola Técnica do Estado do Rio de Janeiro (FAETEC)

Doutor e Mestre em Informação e Comunicação em Saúde no ICICT/FIOCRUZ. Recebeu o Prêmio Oswaldo Cruz de Teses 2020. Especialista em Tecnologias da Informação Aplicadas a Educação pela UFRJ e em Informação Científica e Tecnológica em Saúde pelo ICICT/FIOCRUZ. Cientista da Computação desde 2009, é professor de informática da FAETEC, na Escola Técnica Estadual Oscar Tenório, atuando em disciplinas relacionadas ao Desenvolvimento Web no curso de Informação para Internet. Tem experiência em projetos de software web e tecnologias aplicadas na educação. Colaborador no Laboratório Internet Saúde Sociedade (LAISS) do Centro de Saúde Escola Germano Sinval Faria da Escola Nacional de Saúde Pública (ENSP), Fundação Oswaldo Cruz.

André de Faria Pereira neto, Fundação Oswaldo Cruz (Fiocruz)

Possui graduação em História pela Pontifícia Universidade Católica do Rio de Janeiro (1982), Mestrado em História - Université de Paris III (Sorbonne-Nouvelle) (1985), Doutorado em Saúde Coletiva pela Universidade do Estado do Rio de Janeiro (1997) e Pós-Doutorado em Sociologia da Saúde pela Universidade da Califórnia, San Francisco (2006). Foi Pesquisador da Casa de Oswaldo Cruz, unidade da Fundação Oswaldo Cruz (Fiocruz) durante 20 anos. É Pesquisador Titular da Escola Nacional de Saúde Pública onde coordena o "Laboratório Internet, Saúde e Sociedade" (LAISS) vinculado ao Centro de Saúde Escola Germano Sinval de Faria (CSEGSF). É professor credenciado do Programa de Pós-Graduação em Informação e Comunicação em Saúde oferecido pelo Instituto de Comunicação e Informação Científica e Tecnológica em Saúde (ICICT), da Fundação Oswaldo Cruz. É pesquisador sênior-visitante do escritório da Fundação Oswaldo Cruz em Campo Grande, Mato Grosso do Sul. Desenvolve pesquisa sobre o impacto da internet na relação médico-paciente e sobre avaliação de qualidade de informação em sites de saúde. Acaba de disponibiliza no Google Play um aplicativo para atenção primária - Meu-Info-Saúde.

Paulo Nadanovsky, Instituto de Medicina Social (IMS/UERJ) Fundação Oswaldo Cruz (Fiocruz)

Pesquisador da Escola Nacional de Saúde Pública da FIOCRUZ e Professor Titular do Instituto de Medicina Social da UERJ. Tem Doutorado em Saúde Pública pela Universidade de Londres (1993) sob orientação de Aubrey Sheiham e Pós-Doutorado (2007-2009) em Psicologia Evolucionista na McMaster University, Canadá, em colaboração com Martin Daly e Margo Wilson. Possui graduação em Odontologia pela Universidade Federal Fluminense (1986). Tem experiência na área de Saúde Pública e Epidemiologia, atuando principalmente nos seguintes temas: revisão sistemática e meta-análise, medicina baseada em evidência, comunicação do risco, odontologia baseada em evidência, efetividade dos serviços de saúde. No início dos anos 2000 iniciou uma aproximação com a Teoria da Evolução (Darwinismo) aplicada ao comportamento humano. Dentre os temas específicos dessa linha de pesquisa estão incluídos: homicídio e impunidade, morte por batida de carro e moto, violência doméstica contra a criança.

References

ALBARRAK, A. I. et al. The impact of obesity related websites on decision making among students in Saudi Arabia. Saudi Pharmaceutical Journal, [s.l.], v. 24, n. 5, p. 605–610, 2016.

ALPER, B. S.; HAYNES, R. B. EBHC pyramid 5.0 for accessing preappraised evidence and guidance. Evidence-based medicine, London, v. 21, n. 4, p. 123–5, 1 ago. 2016.

ATALLAH, Á. N. Medicina baseada em evidências [editorial]. Diagn Tratamento, v. 23, n. 2, 2018.

BETTING, L. E. et al. Tratamento de Epilepsia: Consenso dos Especialistas Brasileiros. Arquivos de Neuro-Psiquiatria, São Paulo, v. 61, n. 4, p. 1045–1070, dez. 2003.

BRASIL. Ministério da Saúde. Tuberculose. 2021 Disponível em: <http://antigo.saude.gov.br/saude-de-a-z/tuberculose>. Acesso em: 5 ago. 2021.

BURWELL, D. S. Acquiring the evidence: How to find current best evidence and have current best evidence find us. In: STRAUS, S. E. et al. (Eds.). Evidence-based medicine: how to practice and teach EBM. 5. ed. [S.l.]: Elsevier Health Sciences, 2019. p. 57–90.

CHAPA, D. et al. Using preappraised evidence sources to guide practice decisions. Journal of the American Association of Nurse Practitioners, Austin, v. 25, n. 5, p. 234–243, 1 maio 2013.

DICENSO, A.; BAYLEY, L.; HAYNES, R. B. Accessing preappraised evidence: fine-tuning the 5S model into a 6S model. Evidence-based nursing, London, v. 12, n. 4, p. 99–101, 1 out. 2009.

DYNAMED, (INTERNET). About DynaMed | Clinical Decision Support Tool. 2019a. Disponível em: <https://www.dynamed.com/home/about>. Acesso em: 7 maio. 2019.

DYNAMED, (INTERNET). Executive Leadership | Clinical leaders| Clinical Influencers | DynaMed Plus. 2019b. Disponível em: <https://www.dynamed.com/home/about/executive-leadership>. Acesso em: 27 set. 2019.

DYNAMED, (INTERNET). DynaMed Partnerships | DynaMed. 2019c. Disponível em: <https://www.dynamed.com/home/about/partners>. Acesso em: 27 set. 2019.

DYNAMED, (INTERNET). Conflict of Interest Policy | DynaMed. 2019d. Disponível em: <https://www.dynamed.com/home/editorial/conflict-of-interest-policy>. Acesso em: 27 set. 2019.

DYNAMED, (INTERNET). Record No. T116300, Pulmonary Tuberculosis. 2019e. EYSENBACH, G. et al. Empirical Studies Assessing the Quality of Health Information for Consumers on the Worldwide Web. Journal of the American Medical Association, Chicago, v. 287, n. 20, p. 2691–2700, 22 maio 2002.

EYSENBACH, G. The impact of the Internet on cancer outcomes. Cancer Journal For Clinicians, [s.l.], v. 53, n. 6, p. 356–371, 2003.

HAYNES, R. B. Of studies, summaries, synopses, and systems: the “4S” evolution of services for finding current best evidence. Evidence Based Mental Health, London, v. 4, n. May, p. 37–41, 2001.

HAYNES, R. B. Of studies, syntheses, synopses, summaries, and systems: the 5S evolution of information services for evidence-based healthcare decisions. Evidence-based medicine, London, v. 11, n. 6, p. 162–4, 1 dez. 2006.

LAGAN, B. M.; SINCLAIR, M.; KERNOHAN, W. G. What Is the Impact of the Internet on Decision-Making in Pregnancy? A Global Study. Birth-issues in Perinatal Care, [s.l.], v. 38, n. 4, p. 336–345, 2011.

MCMASTER, U. ACCESSSS | About. 2019a. Disponível em: <https://www.accessss.org/Pages/About>. Acesso em: 30 maio. 2019.

MORENO, J. M. et al. A quality evaluation methodology for health-related websites based on a 2-tuple fuzzy linguistic approach. Soft Computing, [s.l.], v. 14, n. 8, SI, p. 887–897, jun. 2010.

NADANOVSKY, P. Epidemiologia aplicada a clínica: um enfoque científico do uso da informação médica - Medicina Baseada em Evidência. Estudos em Saúde Coletiva, IMS/UERJ - Rio de Janeiro - Br, v. 185, p. 1–27, 1999.

PAOLUCCI, R.; PEREIRA NETO, A. Methods for evaluating the quality of information on health websites: Systematic Review (2001-2014). Latin American Journal of Development, Curitiba, v. 3, n. 3, p. 994–1056, 14 maio 2021.

PARK, H. et al. Can a health information exchange save healthcare costs? Evidence from a pilot program in South Korea. International Journal of Medical Informatics, [s.l.], v. 84, n. 9, p. 658–666, 2015.

PEREIRA NETO, A.; PAOLUCCI, R. Evaluation of the Quality of Health Information on the Internet: An Analysis of Brazillian Initiatives. In: PEREIRA NETO, A.; FLYNN, M. B. (Eds.). The Internet and Health in Brazil. [s.l.]: Springer International Publishing, 2019. p. 181–209.

POWELL, J. et al. The Characteristics and Motivations of Online Health Information Seekers: Cross-Sectional Survey and Qualitative Interview Study. Journal of Medical Internet Research, Toronto, v. 13, n. 1, p. e20, 23 fev. 2011.

PROROK, J. C. et al. The quality, breadth, and timeliness of content updating vary substantially for 10 online medical texts: An analytic survey. Journal of Clinical Epidemiology, Philadelphia, v. 65, n. 12, p. 1289–1295, 2012.

SACKETT, D. L. et al. Evidence-based medicine: what it is and what it isn’t. British Medical Journal (Clinical research ed.), London, v. 312, n. 7023, p. 71–2, 13 jan. 1996.

SILVA-JEREZ, N. S.; FURNIVAL, A. C. Informação sobre saúde: letramento informacional e acesso aberto à literatura científica. Em Questão, Porto Alegre, v. 24, n. 2, p. 260, 19 abr. 2018.

SMITH, R.; RENNIE, D. Evidence-based medicine: an oral history. Journal of the American Medical Association, Chicago, v. 311, n. 4, p. 365, 22 jan. 2014.

SPOELMAN, W. A. et al. Effect of an evidence-based website on healthcare usage: an interrupted time-series study. British Medical Journal Open, London, v. 6, n. 11, 2016.

ZHANG, Y.; SUN, Y.; XIE, B. Quality of health information for consumers on the web: A systematic review of indicators, criteria, tools, and evaluation results. Journal of the Association for Information Science & Technology, [s.l.], v. 66, n. 10, p. 2071–2084, 26 May 2015

Published

2021-09-29

How to Cite

PAOLUCCI, Rodolfo; PEREIRA NETO, André de Faria; NADANOVSKY, Paulo. Evaluation of information accuracy in health sites: methods for constructing evidence-based indicators. Em Questão, Porto Alegre, v. 27, n. 4, p. 137–188, 2021. DOI: 10.19132/1808-5245274.137-188. Disponível em: https://seer.ufrgs.br/index.php/EmQuestao/article/view/111321. Acesso em: 22 aug. 2026.

Issue

Section

Article

Similar Articles

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 > >> 

You may also start an advanced similarity search for this article.