1 INTRODUÇÃO
No ambiente científico, a notoriedade de um pesquisador está relacionada à sua produção científica. Ele é avaliado pelos artigos publicados, projetos desenvolvidos, trabalhos apresentados em congressos, pelas participações em grupos de pesquisa e demais atividades que tornem sua investigação conhecida. Entretanto, a maior visibilidade às pesquisas é dada pelos artigos publicados em periódicos de reconhecimento nacional e internacional, que são classificados segundo determinados critérios, numa lista das publicações mais significativas nas diversas áreas de conhecimento. É importante para o pesquisador conseguir que sua produção seja publicada em periódico de alto impacto, para que ela seja, de fato, divulgada. Esses periódicos procuram manter um reconhecido padrão de qualidade científica e, para isso, utilizam o sistema denominado peer review. (ZIMAN, 1981).
Quando um manuscrito é submetido a um processo de análise por um periódico, são três os possíveis resultados desta avaliação: aceito, aceito com modificações ou rejeitado.
O tópico mais discutido neste processo refere-se ao papel dos árbitros, que podem representar um risco, se houver censura de ideias novas ou outra forma de preconceito.
A elaboração bem criteriosa de um parecer de um manuscrito realizada pelos pares é importante fonte de aprendizado para os autores, uma vez que escrever requer técnica, experiência, maturidade, constantes idas e vindas a fim de rever escritos, verificar erros e corrigir falhas. Acredita-se que a linguagem científica leva algum tempo para ser aprendida, não podendo ser parafraseada, com vistas a uma compreensão mais fácil. Há um aprendizado, no decorrer da vida do pesquisador, para entender, falar e escrever nesta linguagem.
O objeto deste trabalho são os pareceres emitidos pelos avaliadores da revista Movimento, publicado pela Escola de Educação Física da UFRGS desde 1994. É especializado em Educação Física e apresenta a interface com os aspectos filosóficos, sociológicos e humanos, tem periodicidade quadrimestral regular, apresenta grande ocorrência de manuscritos para avaliação e seus editores possibilitaram a análise dos pareceres, razão pela qual foi o veículo escolhido para investigar o assunto. Analisaram-se, nessa pesquisa, 191 pareceres emitidos em um período de 11 anos, de 1997 a 2007, pelos seus avaliadores, na fase anterior à editoração eletrônica do periódico, que ocorreu em finais de 2007.
Com base na leitura dos pareceres, foram definidos sete grupos principais de critérios: éticos, instrumentos de pesquisa, originalidade, redação, normalização, profundidade teórica e metodologia. É apresentada uma tabela com 72 motivos que levam à rejeição de manuscritos em ordem decrescente de frequência citada pelos avaliadores.
O projeto de pesquisa número 2007911 recebeu a aprovação do Comitê de Ética da Universidade Federal do Rio Grande do Sul, em 2 de outubro de 2008.
2 FUNDAMENTAÇÃO TEÓRICA
A avaliação da produção científica pelos membros de uma comunidade de referência é conhecida por sistema de arbitragem, por avaliação de originais ou por sistema de avaliação pelos pares. Em inglês, denomina-se referee system ou peer review e envolve o uso de árbitros ou juízes para assessorar na análise dos manuscritos submetidos para publicação. O sistema de revisão pelos pares consiste em uma avaliação crítica elaborada por especialistas que não fazem parte da equipe editorial, analisando os manuscritos submetidos aos periódicos. Eles são os responsáveis por opinar e relatar suas observações sobre o manuscrito apresentado e, dessa forma, auxiliar na decisão dos editores a respeito da sua publicação ou não (STUMPF, 2005).
O trabalho do autor começa bem antes: ao pensar em redigir um manuscrito, provavelmente, sua primeira providência será procurar conhecer as instruções aos autores, normas de submissão para publicação, escopo e abrangência do conteúdo de vários periódicos e escolher aquele que mais representa a sua área de interesse. “Se o principal objetivo de publicar é dar a conhecer os avanços científicos a outros pesquisadores da mesma área de interesse, nada melhor do que saber onde esses pares publicam trabalhos” (CASTRO, 2006, p. 128). Analisando bem o escopo, o autor não corre o risco de ter seu manuscrito rejeitado por um motivo anterior à análise por mérito de seu texto.
Alguns outros fatores são importantes a serem considerados pelo autor. Serra, Ferreira e Fiates (2008), destacam que se deve tomar cuidado para que o artigo contenha os elementos essenciais necessários que o levem a uma avaliação e não a uma rejeição. É importante receber as críticas e, a partir delas, qualificar o trabalho produzido. Deve verificar a existência da avaliação por mérito, o peer review. Publicar em periódicos acadêmicos reputados tornou-se mais difícil: o prazo entre recebimento, avaliação e publicação alarga-se e as taxas de rejeição em muitos periódicos são superiores a 90% dos artigos recebidos. Contudo, para Meadows (1999), a recusa de artigos é comum e necessária, pois o mesmo artigo se recusado pode ser submetido a diferentes periódicos, ocorrendo assim um processo de depuração e aprimoramento. Esta ideia vem enfatizar a neces-sidade de se analisar o sistema peer review em todos os seus aspectos.
Davyt e Velho (2000) apresentam a análise pelos pares, como uma prática inerente à instituição social como ciência e não vislumbram mudanças nesta prática para o futuro. Concordam com eles, Marziale (2001), quando assevera que, apesar das limitações, a revisão por pares parece estar distante de ser substituída, ocupando um papel central no processo de publicação de um periódico; Pires Júnior (2001), quando afirma que “[...] mesmo em face aos maiores problemas, ainda não foi encontrado outro sistema que melhor substituísse o sistema de arbitragem da produção científica, efetuado por meio da avaliação por pares” e Szklo (2006), quando escreve que a revisão por pares tem validade duvidosa e confiabilidade abaixo da ideal, mas provavelmente continuará sendo o principal processo de seleção de artigos para publicação.
Para Castiel e Sanz-Valero (2007), houve um impressionante crescimento e uma ampliação das pesquisas científica e acadêmica com intensa publicação. O Brasil é um dos países que apresentou um maior dinamismo, dentre outros países, no período de 1991 a 2003. Esses autores questionam o real valor desses conteúdos para a construção do conhecimento e denominam o fenômeno como “proliferação de artigos científicos”. Visto que os pesquisadores estão em constante necessidade de inserção na comunidade científica e a publicação é uma das consequências desta prática, alegam que o “publica-cionismo” é uma exigência atual para a progressão funcional e para o reconhecimento entre os pares.
Na perspectiva do editor, há de se reconhecer que, sem dúvidas, a tarefa de editar periódicos científicos é um trabalho complexo que envolve aspectos técnicos, éticos e financeiros. Para Hames (2007, p. 3) “[...] os editores são responsáveis por assegurar a qualidade dos seus periódicos e por garantir que aquilo que é publicado é ético, preciso e relevante para os seus leitores”. Os aspectos éticos, em especial, têm preocupado vários segmentos da comunidade científica:
Cruz (2006) destaca duas grandes responsabilidades de um periódico científico quanto à revisão por pares:
Os árbitros supõem que os autores estão dizendo a verdade e acreditam em seus dados, pois, ao contrário, o processo de avaliação por pares seria inviável. Alguns pesquisadores são favoráveis ao processo de avaliação exatamente porque possibilita descobrir essas fraudes, ou, ao menos, os erros podem ser descobertos durante a ava-liação (KNOBEL, 2003).
Bornmann, Nast e Daniel (2008) realizaram uma análise quantitativa do conteúdo de 46 estudos sobre os critérios para a avaliação de manuscritos e os seus motivos para aceitá-los ou rejeitá-los. O objetivo principal era de verificar se os árbitros levam em consideração as questões éticas e se detectam o plágio nos manuscritos. Verificaram que, do total de 572 critérios e fundamentos, nos 46 estudos, divididos em nove áreas principais, nenhum dos critérios ou razões que foram atribuídos, nas nove áreas, referem-se, ou está relacionado, a possíveis falsificações ou à fabricação de dados. Em uma segunda etapa, o estudo pediu aos editores e pareceristas avaliarem como alto ou baixo o significado de cada aspecto por eles analisado. O critério ético e plágio ainda não são os mais cotados.
Castro (2006) enumera algumas qualidades no sistema de avaliação por pares: detecta erros metodológicos e de delineamento; omissões e afirmações equivocadas; promove padrões éticos de pesquisa; melhora a qualidade do relato dos dados; aprimora a legibilidade do texto e aperfeiçoa a acurácia das conclusões e afirmações. Entretanto, têm se mostrado pouco eficientes em identificar erros em análises estatísticas; não detecta fraudes e, apesar dos esforços para não identificação dos autores, em alguns periódicos, osavaliadores não são impedidos de conhecer a sua identidade, enquanto que a maioria dos periódicos não revela a identidade dos referees para os autores.
Knobel (2003) aponta questões que alimentam o debate: o próprio sistema de incentivos à pesquisa e à competividade impele a publicação rápida e em quantidade considerável. Qual é o limite? Além das questões inerentes sobre a competitividade e conflitos de interesse, muitos acham que, por se tratar de uma obrigação sem um retorno imediato, nem financeiro nem curricular, a maioria dos avaliadores apenas lê os manuscritos superficialmente, sem se preocupar com a veracidade das informações ali contidas, e sem verificar publi-cações prévias dos autores do artigo submetido à publicação.
Alvarenga (2003) analisou 2.382 citações de 206 artigos da Re-vista Brasileira de Estudos Pedagógicos (RBEP), de 1944 a 1974, referentes à institucionalização da pesquisa no Brasil, para verificar se havia algum sistema de exclusão de autores no processo de submissão dos artigos para publicação no periódico. Concluiu, sobre a existência de claros indícios de que tenha havido fidelidade do perió-dico à ideologia do estado, tendo seu processo funcionado a partir de um sistema de não publicação de artigos dos autores que não se afinassem com o pensamento estatal representado pelo Ministério da Educação, publicador do periódico. O período histórico analisado pela autora corresponde aos períodos dos governos do Estado Novo, Dutra, Kubitschek, Quadros, Goulart e Governos Militares. Alvarenga (2003, p. 80) acredita que os estudos do comportamento da literatura a semelhança do que fazemos agora e que ela desenvolveu podem fazer “[...] surgir insumos profícuos para o conhecimento da comunicação entre os membros de uma comunidade cientifica, dos pensamentos veiculados em determinada época, assim como de um periódico e de seu correspondente processo de seleção e aceitação de trabalhos”.
3 PROCEDIMENTOS METODOLÓGICOS
Neste trabalho, utilizou-se o método de análise de conteúdo na leitura dos pareceres emitidos e verificação dos motivos que levam um manuscrito a ser rejeitado no processo de avaliação realizada pelos pareceristas do periódico Movimento. A análise de conteúdo foi escolhida para realizar o trabalho. O universo do estudo foi composto por 191 pareceres emitidos pelos avaliadores do periódico, no período de 1997 a 2007. É necessário esclarecer que houve duas fases na publicação do periódico. A primeira, de 1994 a 2001, em que seu escopo abrangia todas as áreas da educação física, funcionava com um aspecto generalista. E a segunda, a partir do v. 8, n. 3, 2002, em que se especializou nas ciências humanas e sociais,
Os primeiros pareceres eram redigidos na forma de oficio ao editor. A partir de 2000, foi implantado um formulário com campos específicos para o árbitro preencher: título, classificação do manuscrito (artigo original de pesquisa, trabalho de revisão, ensaio, resenha); descrição (livre para a redação do parecer); avaliação: aceito; aceito com reformulações e não publicar; ao final, a data do parecer.
Não foi contabilizada neste trabalho a quantidade de manuscritos avaliados, pois teve-se acesso somente aos arquivos dos pareceres, que eram mantidos em ordem cronológica e por nome de árbitro na secretaria do periódico.
Não foi também objeto deste trabalho a análise dos pareceres emitidos após a implantação da plataforma de editoração eletrônica, Sistema Eletrônico de Editoração de Revistas (SEER), ocorrida no final de 2007. Procedeu-se às seguintes fases: revisão bibliográfica; leitura atenta de cada parecer; anotação em tabelas das variáveis escolhidas, mantendo-se, nos motivos apontados, a terminologia original; processamento dos dados; análise e interpretação; redação. Por motivos éticos, não são identificados os nomes de avaliadores e dos autores.
O primeiro levantamento gerou uma lista com elevada quantidade de argumentos repetitivos. As variáveis não foram definidas a priori. À medida que os pareceres eram lidos, descreviam-se os motivos. Seguiu-se, então, a fase da consistência desta terminologia, fazendo com que definissem categorias de argumentos: éticos, objetos ou instrumentos de estudo, originalidade, redação, normalização, aprofundamento teórico e metodologia científica.
Os instrumentos de coleta e tabulação dos dados foram tabelas e planilha eletrônica para contagem e cruzamento dos dados.
4 RESULTADOS
Conservou-se a linguagem utilizada pelos avaliadores e pontuaram-se todos os motivos anotados. Como a grande maioria dos avaliadores dos 191 pareceres apresentou várias razões, houve a soma signi-ficante de 1.030 itens reunidos em 77 motivos que foram distribuídos em sete categorias, conforme ilustra o Gráfico 1. As razões que obtiveram uma grande frequência de rejeição foram: em primeiro lugar, foram as relacionadas aos problemas metodológicos (51,36%), seguidos da falta de aprofundamento teórico (19,22%), problemas de normalização (11,94%), problemas de redação (10,19%), falta de originalidade (3,11%), escassos instrumentos de estudo (2,62%) e problemas éticos (1,55%).
Gráfico 1. As sete categorias de motivos mais significativos que levaram à rejeição dos manuscritos
Fonte: Elaborado pelos autores com os dados da pesquisa
4.1 Éticos
Considerou-se, nesta categoria, as variáveis que apresentavam características relacionadas às questões de pesquisa que apontassem no sentido de conduta inadequada do autor, na detecção de falsificação, no uso exagerado de autocitação ou problemas de não indicação de autorização para pesquisa, enfim, o que vem preocupando vários segmentos da comunidade científica. Mas, dos argumentos descritos pelos árbitros relacionados ao caráter ético da pesquisa, o mais apontado foi: “texto de caráter ideologizado”, em quatro manuscritos.
Na tabulação final, a questão ética foi registrada 16 vezes com 1,55% do total, um valor que expressa as poucas vezes em que algum problema desta natureza chamou a atenção dos avaliadores, significando que os demais critérios recebem mais atenção e são mais fortemente avaliados. Este valor, apesar de numericamente baixo, não indica que o que foi apontado é pouco importante. Qualquer um dos motivos seria suficiente para rejeitar o caráter científico de um texto:
a) texto de caráter ideologizado;
b) o autor emite opiniões, sentimentos desnecessários em artigo científico;
c) autor deveria ter tido uma distância crítica para analisar a obra;
d) a pesquisa não é objetiva e isenta;
e) texto panfletário e agressivo;
f) não há informação sobre termo de consentimento informado e aprovação pelo comitê de ética;
g) falta ética ao nomear o sujeito de estudo à sua patologia (“crianças down”);
h) autor assume postura sectária e perversa como a que tanto critica no texto; e
i) as referências utilizadas parecem ser de caráter ideológico e opinativo.
As questões que preocupam o avaliador parecem apontar mais no sentido de observação direta do texto, se há coerência no discurso e no caráter cientifico e não revelando preocupação quanto à falsidade da pesquisa.
Percebe-se que, apesar dos pesquisadores, de acordo com Knobel (2003), serem favoráveis ao processo de avaliação pela possibilidade da descoberta de fraudes ou erros, no caso estudado, os avaliadores não corresponderam à possível expectativa dos autores.
Já o resultado descrito por Bornmann, Nast e Daniel (2008), em seu estudo sobre critérios para a avaliação de manuscritos, vem ao encontro dos resultados tabulados nesta investigação: o critério ético e o plágio ainda não são os mais cotados pelos pareceristas.
4.2 Objetos ou instrumentos de estudo
Nesta categoria, colocaram-se os objetos ou instrumentos meto-dológicos utilizados pelos autores, os materiais empíricos usados na pesquisa, tais como questionários e entrevistas. Na crítica dos árbitros quanto a este tópico, num total de 27 motivos diversos, registrou-se 20 vezes o motivo “instrumentos não permitem realizar as inferências”, ou seja, poucos questionários ou entrevistas. Entre os demais motivos estão:
a) universo de participantes da coleta bastante restrito, não possibilitando a generalização apresentada;
b) com apenas um instrumento de coleta, não é possível identificar as relações entre o discurso e a prática pedagógica; e
c) estudo utilizando somente uma pessoa com a patologia.
Nas avaliações estudadas, percebe-se, além do erro na escolha do instrumental da pesquisa, há uma inadequação quanto ao tamanho da amostra, do ponto de vista estatístico. Esta falta de cuidado dos autores torna difícil atender à recomendação de Serra, Ferreira e Fiates (2008) quanto à importância dos autores receberem as críticas para, a partir delas, qualificar o trabalho produzido, visto que o mesmo teria que ser totalmente refeito!
Castro (2006) afirma que o sistema de avaliação por pares tem se mostrado pouco eficiente em identificar erros em análises estatísticas. Nota-se que os pareceristas da Revista Movimento encontram-se atentos a esta relevante questão.
4.3 Originalidade
As normas para publicação na revista exigem que o manuscrito seja original, no sentido de que não tenha sido apresentado em outra revista e que se constitua num texto relevante para a área. O que o avaliador observa ao apreciar o texto é se a ideia se desenvolve com originalidade, com concisão.
Quando o artigo já foi publicado sob outra forma, tais como tese, dissertação, trabalho apresentado em evento, esta informação deve constar no momento da submissão do manuscrito, para que o editor julgue se envia, ou não, para a avaliação.
Dos argumentos descritos pelos árbitros relacionados aos problemas de originalidade do texto, foi descrito 29 vezes como “nada traz de original” ou “não é trabalho original” num total de 32 motivos semelhantes. O outro motivo citado três vezes é “o trabalho não é inédito”.
Conclui-se que este tópico merece uma visão verticalizada. Para tanto, recomenda-se um estudo que relacione se a falta de originalidade encontrada na amostra estudada, apresenta alguma relação com o fenômeno da “proliferação de artigos científicos” ou “publicacio-nismo”, relatado por Castiel e Sanz-Valero (2007).
4.4 Redação do manuscrito
O trabalho científico propriamente dito é avaliado por sua qualidade de conteúdo e por sua qualidade formal. Aquele se refere à substância do trabalho científico, enquanto este diz respeito aos meios e formas usados na produção do trabalho, de acordo com os ritos acadêmicos.
Nesta categoria, estão relacionados os problemas observados pelos avaliadores que se relacionam à forma do manuscrito e que comprometem a exatidão, a clareza e a comunicabilidade da mensagem que o autor pretende transmitir. A falta de cuidado na redação do manuscrito é observada 105 vezes (10,19%) pelos avaliadores.
Foram observados “[...] erros de redação, digitação, ortografia, concordância verbal, gramática, parágrafos sem conclusão, linguagem telegráfica ou truncada”, além de pobreza no estilo e na escrita. Relata-se a ocorrência de parágrafos repetitivos, uso excessivo de perguntas e expressões de imprecisão (“talvez” e “será”) num texto fragmentado. De forma geral a escrita carece de uma revisão textual: às vezes o autor se coloca na primeira pessoa do singular, noutras, no singular, repete termos na mesma frase e deixa os parágrafos sem nexo. Ocorrem graves problemas com a escrita, tornando difícil a compreensão das ideias do autor. Há deficiência linguística. Não há encadeamento lógico. Percebe-se o uso de linguagem própria do senso comum; tais como adjetivações (inadequado para artigo cien-tifico): vida indigna, artificialidade técnica, relações indignas e danifi-cadas, (pseudo) felicidade. Enfim, as orações precisam ser mais bem explicadas para as frases ganharem sentido.
Escrever com clareza é uma aptidão a ser desenvolvida. Concorda-se com Meadows (1999) que a persistência do autor em submeter seu artigo rejeitado a outros periódicos o levará naturalmente a um processo de depuração e aprimoramento. Contudo, para que este processo ocorra, o autor deve conhecer os motivos que levaram os árbitros a rejeitar seu manuscrito.
4.5 Normalização
Nesta categoria, estão relacionados os problemas que se referem ao atendimento, à normalização de um texto cientifico descritos pelos avaliadores. Trata-se de um conjunto de regras que visam à qualidade e precisão dos aspectos da comunicação cientifica e que comprometem a qualidade e o desenvolvimento lógico do texto. Revelou-se um aspecto muito bem observado pelos avaliadores, tanto na adequação do trabalho quanto nas normas metodológicas e linguís-ticas. Os problemas descritos pelos árbitros totalizaram 123 vezes (11,94%) e estão relacionados a seguir:
a) resumo não atende as normas;
b) não atende as normas do periódico;
c) inexistem referências em alguns parágrafos e os mesmos encontram-se fora das normas;
d) citação incorreta dos autores;
e) descritores não compatíveis com o DECS, recomendado pelo periódico;
f) não separa introdução, seções e considerações finais;
g) obras citadas no texto não estão nas referências;
f) foge à política editorial do periódico;
g) formato não compatível com artigo científico;
h) estrutura inadequada, não atende as normas de artigo científico;
i) melhor classificado em relatos de experiência;
j) excessivo número de notas de rodapé, algumas desne-cessárias; e
k) referências fora das normas.
Da bibliografia consultada, somente Castro (2006) se reporta ao tema normalização, mas com a intenção de chamar a atenção dos autores sobre o necessário conhecimento das instruções dadas a eles acerca das normas de submissão para publicação. As normas que padronizam e norteiam estrutura, elaboração de resumos, referências, citações etc. não foram abordadas pelos autores consultados. Contudo, considera-se de suma importância o atendimento dos critérios estabelecidos como um indicador de qualidade do artigo.
4.6 Aprofundamento teórico
Nesta categoria os avaliadores observam o embasamento teórico referente ao tema da pesquisa. Ao elaborar o texto, o autor demonstra o que leu e aprendeu sobre o assunto, descrevendo seu referencial com base nos autores lidos. Os avaliadores também procuram observar o “diálogo” que o autor promove entre os teóricos incluídos no manuscrito e a coerência no uso das teorias selecionadas.
O motivo mais frequente na categoria aprofundamento teórico foi expresso da seguinte forma, sendo observado 54 vezes: “fundamentação teórica é falha” [...] há necessidade de melhorar a sustentação teórica [...] sustentação teórica inexistente [...] Os demais motivos observados foram:
a) conteúdo confuso;
b) suporte bibliográfico reduzido. Carece de uma biblio-grafia mais atual e original;
c) pouca consistência teórica. Mal fundamentado;
d) imprecisão conceitual. Faltam definições de conceitos;
e) falta de rigor teórico-conceitual;
f) não cita autores e trabalhos importantes no tema. Utiliza autores inadequadamente;
g) o texto não apresenta autores importantes sobre o tema;
h) incoerência interna do texto: qual a base filosófica em que o autor se apoia?;
i) dificuldade de interpretação dos autores;
j) referencial teórico com problemas: deve ser mais desenvolvido, faz transposição de conceitos fora do contexto;
k) o texto não apresenta autores importantes sobre o tema; e
l) o texto não constitui diálogo entre os autores apresentados.
4.7 Metodologia científica
É a categoria de análise mais ampla, especificamente deveria contemplar os métodos utilizados e descritos pelo autor, mas é um termo utilizado para designar também todo o trabalho científico, não se restrin-gindo a identificar a abordagem científica pelos métodos: dedutivo, indutivo, hipotético-dedutivo, dialético, fenomenológico. Apesar de se considerar problemática esta categoria de análise, dado que seus limites podem invadir algumas das outras descritas anteriormente, justifica-se sua utilização porque, por vezes, os motivos que são apontados comprometem a metodologia utilizada no trabalho.
Observaram-se os seguintes argumentos descritos pelos árbitros que estão relacionados a problemas metodológicos: 43 vezes “[...] meto-dologia inadequada, frágil, não clara aparece; 29 vezes “[...] objetivos não são claros; e 26 vezes [...] não aprofunda o tema [...]. Os demais motivos arrolados referentes à metodologia são:
a) enfoque metodológico superficial;
b) falta profundidade nas discussões;
c) conteúdo confuso;
d) suporte bibliográfico reduzido;
e) carece de uma bibliografia mais atual e original;
f) dados empíricos não sustentam a discussão pretendida;
g) carece de dados empíricos para a discussão;
h) deve inserir tabelas e gráficos para explicar melhor o texto;
i) não utiliza estatística descritiva para descrever os resultados;
j) conclusões frágeis; não justifica a escolha das variáveis;
k) trabalha pouco os dados;
l) não apresenta resultados concretos prejudicando uma discussão;
m) não alcançou o(s) objetivo(s) proposto(s);
n) não esclarece os procedimentos adotados para análise; e
o) texto frágil, sem consistência.
As categorias utilizadas neste estudo foram elaboradas a partir da leitura dos pareceres, como explicado anteriormente, significando que, em estudos similares, outras poderão ser utilizadas. Não se encontrou informação sobre esta questão específica na bibliografia consultada. Acredita-se que isso se deve a rara oportunidade que os estudiosos têm de acessar as avaliações dos árbitros, como no caso desta investigação, visto que nem mesmo os autores que submetem seus originais, na maioria dos casos, ficam sabendo os motivos da rejeição de seu manuscritos.
5 CONSIDERAÇÕES FINAIS
Conclui-se que a preocupação central dos árbitros, ao avaliar um manuscrito, é com o conteúdo e principalmente com os aspectos metodológicos. O autor deve estar preparado para a demonstração de seus argumentos, de forma consistente, com resultados e conclusões lógicos e encadeados relacionados aos objetivos a que se propôs, o que frequentemente não ocorreu nos textos rejeitados.
Em segundo lugar, a falta de aprofundamento teórico é a falha mais apontada pelos árbitros. Os autores desconhecem parte da bibliografia do tema sobre o qual pretendem escrever, ou não a contextua-lizam, utilizando as ideias dos diversos autores e posicionando-se, defendendo ou emitindo uma opinião com coerência.
Em terceiro e quarto lugares, são apontadas as falhas de redação e normalização do manuscrito. Desde problemas básicos como: digitação, pontuação, ortográficos, até o não uso de normas editoriais da revista. Incorreções de linguagem como o de deficiência linguística e de encadeamento lógico são apontados. Apesar de estar em terceiro lugar, este é um dos aspectos que mais incomodam ao se ler um texto cientifico. Os autores devem submeter aos revisores a tarefa de corrigir a redação e normalização antes de enviar um manuscrito a uma revista. O não cumprimento das normas pode, em muitos periódicos, ser item principal de rejeição pelo editor, até antes da avaliação por mérito. Mas, no caso deste estudo, parece que os avalia-dores e editores preferem levar os autores a um aprendizado, analisando todos os quesitos, antes de rejeitar somente com base numa redação descuidada. Em vários casos, nos pareceres, mesmo rejeitando, observou-se um cuidado dos avaliadores de modo a encorajar autores a melhorarem seus manuscritos, indicando um caráter peda-gógico existente entre os pares.
Em quinto lugar de rejeição está o problema de originalidade do manuscrito, que também pode ser considerado uma falha no atendimento às instruções para os autores ou às normas dos periódicos científicos, que já esclarece ser este um quesito obrigatório.
Em sexto lugar, está o problema dos instrumentos de estudo. Situação daqueles manuscritos que apresentaram estudo de caso, as entrevistas com apenas uma pessoa ou um grupo pequeno sem condições de realizar as análises. Os autores devem procurar uma orientação com especialistas e amparo na bibliografia sobre instrumentos da análise, metodologias de pesquisa, para não incorrer nesse erro.
Em último lugar, fica a preocupação com os aspectos éticos. Foram apontadas situações de erros que os autores cometem em textos científicos: assumir posição de caráter ideológico, opinativo agressivo e preconceituoso e a falta de informação acerca do termo de consentimento. Corroborando com a pesquisa de Bornmann, Nast e Daniel (2008), não são detectados nos critérios éticos o problema de plágio nos manuscritos rejeitados pelo periódico em análise. Mas, acredita-se que é um problema com tendência a crescimento, haja vista as notícias que foram apresentadas no início deste estudo, mas não parece ser um aspecto de responsabilidade, ao menos, exclusiva, dos avaliadores dos periódicos. Longo debate se antevê para os próximos anos que envolverá editores, autores, avaliadores, produtores e a sociedade científica.
Acredita-se que o estudo tenha respondido as perguntas a que se propôs. Para responder a pergunta final: Este estudo pode ser válido para outros periódicos? Acredita-se que seja útil, e que pesquisas posteriores, neste sentido, possam ser realizadas. Como estudo futuro, sugere-se um aprofundamento da investigação meio por de entrevistas junto aos árbitros. O objetivo é possibilitar uma análise qualitativa do processo de avaliação com todos os atores, para que eles possam manifestar-se, avaliando seu próprio trabalho