Revisão por pares

Um revisor dos Institutos Nacionais da Saúde dos Estados Unidos avaliando uma proposta de pesquisa

Nos meios acadêmicos, a revisão por pares ou revisão paritária, também conhecida como arbitragem (do inglês: peer review, refereeing), é um processo de avaliação utilizado na publicação de artigos e na seleção de projetos para concessão de recursos para pesquisas. Consiste em submeter o trabalho científico ao escrutínio de um ou mais especialistas que tenham um grande conhecimento na área que em questão, os "pares" ("iguais") do autor, que não têm envolvimento com a pesquisa avaliada e na maioria das vezes se mantêm anônimos. O objetivo da revisão é corrigir erros, apontar caminhos de melhoria, fortalecer o processo de construção de um conhecimento sólido e confiável e exercer um controle de qualidade sobre o material que é publicado.

No entanto, como todo sistema de avaliação, está sujeito a falhas e distorções. Com efeito, há décadas vem sendo debatido como se poderia aperfeiçoar a revisão por pares, sendo experimentadas atualmente diversas adaptações. Mesmo com todas as críticas que recebe de dentro e de fora do meio científico, é um consenso que o sistema de revisão independente é a melhor garantia de que a pesquisa se mantenha dentro de altos padrões profissionais e éticos e produza resultados relevantes, originais, confiáveis e úteis.

História

As primeiras tentativas de legitimar a produção literária através da aprovação de outros especialistas parecem datar da Grécia Antiga. O processo de revisão por pares foi descrito pela primeira vez pelo médico sírio Ishaq bin Ali al-Rahwi, que viveu de 854 a 931 d.C., em seu livro Ética do Médico, no qual estabeleceu a regra de que os médicos tomassem notas sobre o estado de saúde de seus pacientes e os tratamentos aplicados. As notas depois seriam analisadas por um conselho composto por outros médicos para determinar se o médico havia cumprido os padrões exigidos. Se não houvesse, o médico poderia ser processado pelo paciente. Porém, levaria muito tempo para que este princípio se generalizasse.

Depois da invenção da imprensa no século XV, a ampla circulação de documentos evidenciou a importância de se regular a qualidade do material escrito que se tornava público, quando a revisão por pares começou a ser mais aceita. Em 1620, Francis Bacon publicou seu Novum Organum, onde descreveu o primeiro método universal para produção e avaliação de novas descobertas científicas, uma contribuição fundamental para a articulação do método científico moderno.

Acredita-se que o Philosophical Transactions of the Royal Society tenha sido o primeiro periódico a formalizar o processo de revisão por pares em 1665, embora neste momento o interesse fosse apenas selecionar o material que seria publicado e não garantir a validade da pesquisa. Segundo Melinda Baldwin, "o propósito desses sistemas mais antigos era salvaguardar a reputação da sociedade afiliada à publicação. A discussão interna criava um senso comunitário de investimento e responsabilidade em um projeto, e não havia expectativa de anonimato para ninguém envolvido no processo. Muitos desses sistemas mais antigos de crítica interna também visavam garantir que nada revolucionário ou heterodoxo fosse publicado em nome da sociedade. Além disso, a maior parte da avaliação dentro de uma sociedade científica era um tanto informal e aleatória. [...] Em outras palavras, o conceito de ter pares avaliando o trabalho uns dos outros está longe de ser novo. Mas seria um erro olhar para as críticas informais e assistemáticas realizadas em sociedades científicas de elite e equipará-las ao sistema moderno de revisão por pares.

No século XIX o periódico acadêmico se tornou a forma dominante de comunicação científica, mas a revisão por pares permanecia com uso limitado, sendo apenas um entre os vários meios existentes de validação do conhecimento, e quase exclusivamente uma prática britânica e norte-americana. Na passagem para o século XX a situação mudou, quando a revisão por pares independentes rapidamente se tornou uma exigência incontornável para a validação do conhecimento. A partir da Segunda Guerra Mundial, devido à grande aceleração da pesquisa, a revisão por pares foi sistematizada e institucionalizada e adotada generalizadamente pela comunidade científica, tornando-se a base do sistema contemporâneo de publicação acadêmica.

Embora não objetive uma publicação em periódico, o princípio da análise por especialistas independentes para determinar o mérito de alguma proposta é o método de avaliação usado em virtualmente todos os campos da ciência (das exatas às humanas), da tecnologia e outras áreas especializadas contemporâneas, aplicado em processos como a concessão de financiamento a bolsas de estudo e programas de pesquisa, ensino e administração; o credenciamento de cursos universitários; avaliação de processos e produtos industriais; assessoria aos governos; avaliação de alunos em escolas e universidades, sendo também o critério para admissão em sociedades científicas e profissionais prestigiadas e uma exigência usual na contratação de profissionais para programas oficiais de pesquisa, produção e ensino.

O processo

Visão geral de um processo de revisão.

O processo de revisão por pares começa quando um cientista conclui uma pesquisa e redige um artigo que descreve seus objetivos, sua justificativa, os métodos e técnicas usados na coleta de dados e na testagem das hipóteses, faz uma análise dos resultados obtidos nos testes e experimentos, discute como a pesquisa se posiciona em relação ao estado da arte e como pode contribuir para seu campo, e relata o que pôde concluir a partir dos resultados obtidos. O autor então submete este artigo, nesta etapa geralmente chamado de "manuscrito", a um periódico especializado, quando o editor ou editores fazem uma avaliação preliminar a fim de decidir se o trabalho se encaixa na linha editorial do periódico e se atende a requisitos básicos. Se o trabalho é aprovado, então é remetido para um ou mais revisores procederem a uma revisão formal.

Os revisores ou pareceristas são membros reconhecidos e renomados da comunidade científica que possuem uma alta qualificação no campo em análise. Os revisores não podem ter nenhum envolvimento com a pesquisa que vão avaliar, um requisito necessário para que não haja conflito de interesses e sejam garantidas a independência e a imparcialidade. Sua função é julgar a consistência da base teórica e da metodologia empregada, a relevância e originalidade da pesquisa, a precisão e pertinência da discussão dos resultados e das conclusões, e seu potencial de contribuição para o avanço do campo. Se o artigo lhes parecer deficiente em algum aspecto, sugerem formas de aperfeiçoamento, e se encontram erros ou outros problemas, apontam ao autor o que deve ser corrigido, tanto em seu conteúdo técnico como em sua forma de apresentação, incluindo organização do texto e das ilustrações e o estilo de escrita.

A revisão contribui para aumentar a qualidade, a credibilidade, a legitimidade e a legibilidade da produção científica, identificar fraudes, e garantir que sejam cumpridas as normas éticas e legais exigidas do trabalho científico. A revisão também objetiva garantir que afirmações injustificadas, interpretações inaceitáveis ​​ou opiniões sem fundamento sejam descartadas, e garantir que a pesquisa chegue a conclusões precisas com base em experimentação controlada conduzida profissionalmente. De um modo genérico, a exigência da revisão por pares, hoje o sistema de todos os periódicos científicos respeitados e o princípio por trás da concessão de recursos de pesquisa, é um processo tanto de qualificação da pesquisa e da comunicação científica como de educação do pesquisador, incentivando-o a buscar os mais altos padrões profissionais estabelecidos em suas disciplinas, e a direcionar seus esforços para questões relevantes. Como é comum a submissão de propostas de baixa qualidade, a revisão por pares atua como um filtro para impedir que trabalhos fracos, enganosos, irrelevantes, maliciosos, confusos e equivocados recebam verbas, apoio institucional e divulgação, e ameacem a solidez, confiabilidade e integridade do conhecimento cientifico como um todo, que constitui uma das principais bases do funcionamento e sustentação da sociedade global contemporânea.

Para Howard Ribeiro Junior, a revisão independente "é crucial para construir a confiança pública na ciência, especialmente em uma era onde a desinformação e o ceticismo podem minar a credibilidade dos esforços científicos". Além disso, o sistema colaborativo que constitui a revisão por pares é um reconhecimento de que a diversidade é enriquecedora e frutífera e que o saber é construído e só se consolida pelo teste, pela tentativa e erro, pelo debate e também pela contestação. Os periódicos científicos são veículos de fácil circulação e constituem a principal forma de comunicação entre os produtores do conhecimento, e é por meio dos periódicos que os avanços da ciência são discutidos em ampla escala e levados a público, permitindo sua utilização para o progresso e transformação social. Segundo Silva & Medeiros, "as publicações científicas são consideradas como o elemento final no ciclo da busca pela informação, transformando-se em um indicador qualitativo para a construção da confiança e credibilidade para todos os envolvidos nesse processo de propagação e desenvolvimento em determinada área específica do conhecimento científico".

O processo pode ser conduzido de diferentes maneiras, a depender do periódico. No modelo simples-cego, os autores e suas afiliações são identificados, mas não lhes é revelada a identidade dos revisores, mesmo após a publicação, a fim de evitar pressões indevidas. No modelo duplo-cego, tanto autores como revisores permanecem anônimos uns para os outros, mas suas identidades são conhecidas pelo corpo editorial do periódico. No processo triplo-cego, apenas o editor-chefe do periódico conhece a identidade e afiliação dos autores e revisores, um modelo que é pouco usado.

Ao longo de todo o processo de revisão, o editor do periódico atua como um intermediário e regulador da discussão entre autor e revisor, esclarecendo as solicitações dos revisores, sugerindo áreas que podem ser fortalecidas e rejeitando recomendações dos revisores que estejam além do escopo do estudo. Também cabe ao editor a decisão final sobre a publicação ou não do trabalho. Ele geralmente acompanha o parecer dos revisores, mas isso não é uma regra absoluta.

O trabalho proposto à análise pode ser aprovado sem ressalvas, aprovado após correções e mudanças sugeridas pelos revisores, ou reprovado, caso em que não é publicado. Mesmo depois de publicado, o artigo pode ser retirado de circulação se for detectado erro, inconsistência ou fraude.

A revisão atualmente é uma parte integral do processo de construção do conhecimento científico. Não há uma grande concordância sobre o exato grau de efetividade dos diferentes modelos de revisão, mas há uma concordância largamente majoritária de que a revisão por pares eleva a qualidade da produção cientifica e é o melhor sistema de controle de qualidade disponível, o que não quer dizer que não possa ser aperfeiçoado. Segundo Lilian Nassi-Calò, "a revisão por pares é tida pela grande maioria dos pesquisadores como o mecanismo mais efetivo e eficaz para garantir a qualidade, confiabilidade, integridade e consistência da literatura acadêmica". É reconhecido que o processo não é perfeito, mas suas limitações e falhas, principalmente em relação a casos de fraude e plágio, não invalidam o sistema em si e não têm reduzido seu largo emprego.

Em 2015 uma pesquisa da plataforma científica SciELO Brasil mostrou que dos periódicos armazenados na plataforma, 29% adotavam a revisão simples-cego; 67% a revisão duplo-cego, e apenas três a revisão triplo-cego. Publicações que não passam pela revisão paritária tendem a ser vistas com desconfiança pelos acadêmicos e profissionais de várias áreas, e muitas vezes a ausência de revisão é a primeira objeção levantada contra creditar qualquer trabalho.

Críticas e desafios

Como qualquer processo humano de avaliação, a revisão por pares não é perfeita e necessariamente está sujeita a falhas. São feitas críticas em geral a problemas de subjetividade, consistência, competência, conflitos de interesse e excessiva demora nas respostas. São frequentes as críticas de que as revisões não são suficientemente claras ou detalhadas. Também alega-se que a revisão sufoca a inovação na pesquisa e recompensa projetos mais familiares e seguros. Alguns estudos indicaram que mulheres e minorias sub-representadas têm maior probabilidade de receber pareceres desfavoráveis.

O modelo simples-cego, quando a identidade do autor é pública, é criticado por abrir espaço para que eventuais preferências e preconceitos pessoais dos revisores prejudiquem autores e instituições menos prestigiados e menos conhecidos, ou de países em desenvolvimento. O modelo duplo-cego às vezes é criticado porque o anonimato duplo impede a troca de informações que podem ser importantes para contextualizar bem a pesquisa e detectar fraudes e plágio. Estatisticamente, a avaliação anônima produz mais respostas desnecessariamente duras ou desrespeitosas do que a avaliação aberta, mas é reconhecido que o anonimato é importante para a garantir a imparcialidade e independência da análise.

O incessante e acelerado aumento no número de artigos e periódicos não tem sido acompanhado no mesmo ritmo pelo aumento no número de profissionais que se prontificam para o exigente e cansativo trabalho de revisão, saturando o campo, atrasando os prazos convencionados para publicação e criando a possibilidade de revisões apressadas de menor qualidade. Quando um autor é rejeitado em um periódico, por regra ele oferece seu trabalho a vários outros veículos na esperança de que algum o aceite, o que impõe um grande fardo extra sobre o corpo de revisores em atividade, que já está sobrecarregado. Da mesma forma, são insuficientes os revisores que atuam na seleção de bolsas e financiamentos de pesquisa. Isso se interliga à crescente exigência de que os pesquisadores tenham um significativo número de trabalhos publicados para que obtenham verbas ou elevem sua pontuação nos programas acadêmicos e nas progressões de carreira, incentivando rivalidades e a competitividade entre periódicos, cientistas e instituições, fazendo com que a questão da produtividade ganhe um relevo desproporcional e o processo de construção e divulgação do conhecimento seja contaminado pela lógica do mercado e da política em detrimento da ética e da ciência, um fenômeno que tem gerado muitas queixas e preocupações. Segundo Moreno Albuquerque de Barros, "é opinião corrente nos meios acadêmicos e intelectuais que a pressão por publicações, a organização semi-industrial da pesquisa científica e a competição entre periódicos acadêmicos estão conduzindo a um relaxamento ético no setor, com aumento da frequência de fraudes, manipulações e deslizes". Além disso, existem periódicos desonestos, que não são poucos, que publicam qualquer coisa apenas para arrecadar dinheiro dos autores.

Segundo Donato & Quininha, "apesar deste sistema já ter sido muitas vezes criticado, a verdade é que ainda não se conseguiu provar que existe algo melhor para avaliar a qualidade científica de determinado manuscrito". Para aprimorar o sistema, diversas adaptações vêm sendo experimentadas, como as revisões totalmente abertas, ou seja, sem nenhum anonimato, revisões pós-publicação e aprovação por estatísticas de uso. Essas soluções também não são perfeitas e trazem problemas diferentes. A revisão aberta é defendida só por uma minoria de pesquisadores, pois embora seja a mais transparente, tem os inconvenientes de expor tanto autores como revisores a pressões mútuas, pode intimidar revisores jovens, e encorajar respostas menos sinceras para evitar conflitos de prestígio e autoridade. As revisões pós-publicação não são um meio muito efetivo de controlar problemas nos artigos, pois não garantem que o texto será corrigido depois de publicado, e a aprovação apenas por estatísticas de uso e impacto pode facilitar a divulgação mas tende a levar à perda total do controle de qualidade, fazendo com que "popularidade" seja equiparada a "qualidade". Também tem sido experimentado o método da revisão aberta dinâmica, que permite à comunidade científica acompanhar a evolução do debate entre autor e revisor em tempo real e oferecer suas contribuições. Uma grande parte dos pesquisadores defende o processo convencional simples-cego ou duplo-cego seguido de uma revisão pós-publicação como a melhor forma de aumentar a qualificação dos trabalhos científicos.

Recentemente a internet tem apresentado novas vantagens para modernização e agilização de um sistema que foi concebido para o papel, mas trouxe por outro lado muitos riscos de perda de controle sobre a qualidade das publicações. Segundo estudo de Kelly, Sadeghieh & Adeli, "a recente explosão de periódicos exclusivamente online/eletrônicos levou à publicação em massa de um grande número de artigos científicos com pouca ou nenhuma revisão por pares. Isso representa um risco significativo para os avanços do conhecimento científico e seu potencial futuro".

O crescimento exponencial da inteligência artificial é outro desenvolvimento recente que trouxe benefícios e perigos. Já vêm sendo testados em escala limitada modelos de revisão com auxílio de inteligência artificial, treinada para detectar problemas específicos, como erros de gramática e ortografia, plágio, imagens adulteradas e conflitos de interesse entre autores e revisores, mantendo-se a revisão humana com o fator decisivo, mas a IA tem sido usada também para a redação de artigos, o que tem gerado uma grande controvérsia. É reconhecido que ela pode facilitar muitos aspectos, como a organização e análise de vastos volumes de dados, trabalho com estatísticas, fórmulas e equações, organização do texto, identificação de inconsistências, busca de referências, criação de resumos, etc, mas ainda é uma tecnologia experimental, tem muitos problemas, produz muitos erros, há grandes incertezas sobre suas implicações éticas e sua segurança, e mesmo assim já tem sido extensamente utilizada. Diversos periódicos já estão cedendo a esta mudança, que parece irrefreável, e têm aceitado textos escritos com auxílio de IA, mas é preciso que isso seja declarado e que o autor se responsabilize pelo resultado, mas a declaração de uso nem sempre é feita e a detecção da fraude é tipicamente difícil.

Exemplo de revistas com revisão por pares são a Nature, Physical Review Letters, Revista Eletrônica Gestão & Saúde, Revista Brasileira de Ensino de Física, Journal of the Brazilian Chemical Society e Journal of Physical Education.

Ver também

• Artigo científico
• Pseudociência
• Rigor científico