Esta é uma leitura do artigo Worth? Uma Análise Crítica de Peer Review

Dr. John O'Keefe, Editor- Chefe das Jornal da
Associação Canadense Dental é da opinião de que, "O processo de revisão por pares é a pedra angular da JCDA. Ele garante que o material apresentado na publicação atende a determinados critérios de qualidade, precisão e relevância para a prática. " ^{1 Dr. Richard Smith, um ex-editor do British Medical Journal Comprar e por 13 anos o Chefe do Executivo da Medical Journal Publishing Group britânico, está convencido de que peer review ", é um processo imperfeito, cheio de defeitos facilmente identificados com pouca evidência de que ele funciona." 2}

Ambos diametralmente vista opostos não podem estar corretas. O objetivo deste artigo é determinar o que é mais próximo da realidade.
Breve História

O desenvolvimento de revisão por pares é envolto em história. Em 1731, o editor do Médico Ensaios e Observações
(publicado pela Royal Society of Edinburgh) encaminhado artigos submetidos para revisão àqueles a quem considerava "o mais versado nestes assuntos." ^{3 Enquanto o Real college of Edinburgh poderia ter sido o primeiro órgão competente para reconhecer o valor potencial de revisão por pares, fê-lo com o aviso significativo que revisão por pares não garante a precisão ou veracidade ou mesmo que aceitou papéis eram melhores do que os não-pares aqueles revistos. < sup> 3}

revisão por pares Editorial em uma maneira desorganizada ocasional tornou-se mais comum em meados do século 19, com a publicação de um número cada vez maior de revistas biomédicas. Não foi até o mundo cada vez mais especializado do século 20, com suas exigências de autoridade especialista, que a revisão pelos pares tornou-se mais frequentemente aceita e esperada como um "selo de aprovação". ^{3 A-dia, revisão pelos pares tornou-se institucionalizado e é usado pela maioria das revistas biomédicas. 3}

Dr. Robbie Fox, editor do Lancet
1944-1964 houve admirador de revisão por pares. Ele considerou ser um processo sem importância. ^{2 Na verdade, o Lancet
não começou revisão por pares até 1976, muito depois de ter ganho uma reputação mundial justificada como uma revista médica pré-eminente. 2 Esta pergunta se há alguma relação direta entre a reputação de uma revista e sua prática de revisão por pares. Na verdade, o Dr. Fox, muitas vezes se perguntou se quaisquer consequências desfavoráveis ​​ocorreria se artigos rejeitados substituído aqueles que tinham sido aceites. 2}

Assim, desde os seus primeiros dias revisão por pares gerado dúvidas quanto à sua utilidade.
Definição

O que é revisão por pares editorial? É um processo pelo qual os editores enviar artigos submetidos para avaliação para pessoas consideradas com conhecimento no assunto, a fim de que apenas os melhores trabalhos são publicados. Uma descrição mais abrangente é que revisão por pares seleciona artigos para publicação e rejeita aqueles que são considerados ser irrelevante, trivial, fraco, enganosa ou potencialmente prejudiciais ao mesmo tempo melhorando a clareza, transparência, precisão e utilidade das apresentações. ^{4 A a percepção comum de avaliação revista por pares é que ele melhora ou aumenta a qualidade de um papel e auxilia o editor em aceitá-lo para publicação. 5 Se revisão por pares satisfeitos qualquer uma destas descrições seria atuam como um filtro de controle de qualidade através da identificação única os melhores trabalhos que eram dignos de publicação. Na verdade, muitas pessoas conhecedoras aceitar prontamente revisão pelos pares como um garante da qualidade, 6 como proporcionar valor acrescentado para uma publication2 e até mesmo como uma forma de "Good Housekeeping Seal of Approval". 7}

Dr. Richard Smith rejeita categoricamente essas crenças como ele é da opinião de que é impossível definir de revisão por pares em termos operacionais. ^{2 Suas razões são que as palavras, "expert", "peer", "avaliação" e "qualidade "estão atolados em imprecisão. Como o ex-editor do British Medical Journal
, ele questiona se um par é alguém fazendo a mesma pesquisa e, portanto, um potencial concorrente, ou simplesmente alguém na mesma disciplina que possa estar menos informados do que o autor do artigo. Ele tem a preocupação de que uma revisão pode envolver apenas uma leitura casual de um documento em oposição a uma análise aprofundada que verifica todos os dados e referências e oferece melhorias construtivas. Ele teme que simplesmente não há definição consensual sobre o que constitui um bem ou a qualidade do papel. 2}

Dr. A frustração de Smith é compreensível, pois não há órgão que define o que é bom revisor ou de que exige que ser seguido certos padrões. ^{7 Isto implica que editores de revistas têm considerável latitude quanto ao que eles acreditam constitui revisão por pares. Sem padrões aceitos e aprovados, os leitores e autores são submetidos a revisão por pares, que reflete as fraquezas muito humanas, preconceitos e preconceitos dos editores e dos seus colaboradores.
preocupações significativas}

Em 1985, Lock and Bailar havia realizado amplas investigações no processo de revisão por pares editorial e descobriu que grande parte da sua metodologia era falha e estava em necessidade desesperada de melhorar. ^8,9

Estas encontrar foram apoiados em 1986 pelo Dr. Drummond Rennie, então Senior contribuindo editor do Journal of the of American Medical Association, que se perguntou por que, se revisão por pares era um filtro de controle de qualidade, a maioria dos jornais não importa o quão trivial, obscuro, contraditório ou fragmentados, eventualmente, passou a revisão escrutínio e foram publicados. ^{5 Dr. Rennie compôs suas preocupações para a seguinte série de perguntas.}

Existem geralmente critérios aceites quanto ao que constitui um papel? Existe uma lista específica de critérios aplicados aos papéis por todos os editores, ou mesmo alguns- na decisão de aceitar ou rejeitar ou enviar para revisão? Neste último caso, como são revisores selecionaram e quantos deve haver? Desde especialização é necessária, qual o grau de conflito de interesses é esperado ou permitido? Que instruções são colaboradores dado? Como são os seus comentários avaliados? Deve ser comentários duplo-cego? Como editores conciliar desacordo entre os revisores, e entre revisores e autores? Quanto custa este todo o custo, em editorial, horas de secretariado, e revisão, bem como em custos de correio? Quanto é que o processo de impedir a pesquisa fraudulenta? Será que incentivar o plágio e quebra na confidencialidade? Estaríamos nem todos ser melhor fora com nenhuma revisão? ^{5 Dr. Rennie foi tão longe como a sugerir que o único processo de revisão verdade era ter seções de correspondência extensas onde os autores e seus críticos poderiam debater em público. 5}

Dr. Rennie desafiou os pesquisadores a encontrar respostas às suas preocupações e apresentar suas descobertas na primavera de 1989, um Congresso Internacional sobre "Peer Review em Biomédicas Publicações" promovido pela Associação Médica Americana. ^{5 Acompanhou o convite com o comentário perspicaz que, "a pesquisa pode achar que seria melhor para sucata de revisão por pares inteiramente." 5 o primeiro Congresso Internacional em 1989 foi seguido por mais de cinco anos com o último sendo realizada em Vancouver em 2009.}

Pesquisadores aceitou o desafio inicial do Dr. Rennie. No entanto, cerca de dez anos mais tarde, algumas das suas preocupações foram abordadas. Por exemplo, um artigo de 1997 no British Medical Journal
concluiu que, "O problema com revisão por pares é que temos boas evidências sobre suas deficiências e pobres evidências sobre os seus benefícios. Sabemos que ele é caro, lento, propenso a polarização, aberta ao abuso, possível anti-inovador, e incapaz de detectar a fraude. Sabemos também que os artigos publicados que emergem do processo são muitas vezes grosseiramente deficiente. " ¹⁰

Em 2001, no IV Congresso Internacional, Jefferson e seus colegas apresentaram suas descobertas de uma extensa análise sistemática de revisão por pares metodologia. Os resultados convenceu de que revisão por pares editorial era uma prática não testada cujos benefícios foram incerto. ^{11 Dr. Rennie deixou o IV Congresso com suas preocupações originais intactas como evidenciado por sua opinião de que, "Na verdade, se todo o sistema de revisão por pares fez não existem, mas estavam agora a ser proposto como uma nova invenção, seria difícil convencer editores olhando para as provas para passar pela dificuldade e despesa. " 12
Evidence}

Há provas para o preocupações expressas pelos Lock, Bailar, Rennie e Jefferson. Trabalhos recentes por Wager, Smith e Benos fornecer numerosos exemplos de estudos que demonstram falhas metodológicas em revisão por pares que, por sua vez, lançar suspeitas sobre o valor dos artigos aprovados pelo processo ^{13,2,3 Alguns dos probatório. será descrita estudos.
erros}

Em uma investigação de 1998, 200 colaboradores não conseguiram detectar 75% dos erros que foram deliberadamente inseridos em um artigo de investigação. ^{14 No mesmo ano, os revisores não conseguiram identificar 66% dos grandes erros introduzida em um manuscrito falso. 15 um documento que, eventualmente, resultou em seu autor a ser agraciada com o Prêmio Nobel foi rejeitada porque o revisor acredita que as partículas na lâmina de microscópio, eram depósitos de sujeira ao invés de evidências do vírus da hepatite B. < sup> 16
consistência e objetividade}

Há uma crença de que a revisão por pares é um processo confiável e consistente objectivo,. Um estudo realizado por questões Peters e Ceci esse mito. Eles reenviado 12 artigos publicados de instituições de prestígio para os mesmos jornais que eles tinham aceitado 18-32 meses antes. As únicas mudanças foram no autores nomes e afiliações originais. Um deles foi aceito (novamente) para publicação. Oito não foram rejeitadas porque eram unoriginal mas por causa de deficiências metodológicas, e apenas três foram identificados como sendo duplicados. ^{17 Smith ilustra a incoerência entre os revisores por este exemplo de suas observações sobre o mesmo papel.}

Revisor Uma "Eu encontrei este papel um papel extremamente confusa com um grande número de defeitos."

Avaliador B "Ele é escrito em um estilo claro e seria compreendido por qualquer leitor." ²

Sem normas que são uniformemente aceites e revisão por pares implementado é um processo subjetivo e inconsistente.
Fraude

A revisão por pares não conseguiu identificar que o biólogo celular Wook Suk Hwang tinha feito alegações falsas a respeito de sua criação de 11 linhas de células estaminais embrionárias humanas. ^{3 Revisores em tais revistas de alto perfil como Science e Nature não identificar as muitas anomalias brutas e resultados fraudulentos que Jan Hendrick Schon feitas em vários papéis ao mesmo tempo agindo como um pesquisador nos Laboratórios Bell. 3 A US Office of Research Integrity produziu informações sobre a fabricação de dados e falsificação que apareceu em mais de 30 peer revista artigos publicados por essas revistas respeitadas como sangue, a natureza e os Anais da Academia Nacional de Ciências. 18 na verdade, um revisor de revista Proceedings, da Academia Nacional de Ciências foi encontrado para ter abusado de sua posição, declarando falsamente estar trabalhando em um estudo que ele foi convidado a avaliar. 19}

revisão por pares Editorial julgue um papel digno de publicação de acordo com critérios de auto-impostas. O processo, no entanto, não pode garantir que o papel é verdadeira e desprovida de fraude. ^{3 de Quality}

Os defensores da revisão por pares promover a sua qualidade melhorando poderes. Definição e identificação de qualidade não são tarefas simples. Jefferson e seus colegas analisaram uma série de investigações que tentaram avaliar a qualidade dos artigos revisados ​​por pares. ^{4 Eles não encontraram consistências nos critérios que foram usados, e uma multiplicidade de sistemas de classificação a maioria dos quais não foram validados e eram de baixa confiabilidade. Eles sugeriram que os critérios de qualidade incluem, a importância, relevância, utilidade e solidez metodológica e ética da apresentação junto com a clareza, precisão e integridade do texto. 4 Eles incluíram indicadores que poderiam ser utilizados para determinar até que ponto cada critério tinha sido obtido. As idéias promovidas por Jefferson et al não foram codificados em padrões com os quais qualquer avaliação pelos pares podem ser avaliadas. Até que isso ocorra, editores e revisores tem total liberdade para definir a qualidade de acordo com os seus caprichos individuais ou colectivos. Isto apoia a afirmação de Smith que não há é acordado definição de um bem ou a qualidade do papel. 2}

Tendo em consideração o, revisão por pares acima não é a marca de qualidade, exceto, talvez, em crenças de seus praticantes.
Precisão

Pode-se supor que espiar artigos revisados ​​foram livre de erros e estatisticamente som. Em 1999, um estudo de Pitkin das principais revistas médicas encontraram uma taxa de 18-68% das inconsistências entre detalhes em resumos em comparação com o que apareceu no texto principal. ^{20 Uma investigação de 64 peer review revistas demonstrou uma proporção média de imprecisa referências de 36% (intervalo de 4-67%). 21 a proporção mediana de erros tão graves que a recuperação de referência era impossível foi de 8% (intervalo de 0-38%). 21 o mesmo estudo mostrou que a mediana percentual de citações imprecisas foi de 20%. ensaios clínicos randomizados são considerados o "padrão ouro" de tratamento baseada em evidências. Um estudo significativa da qualidade de tais ensaios que aparecem nas revistas de revisão pelos pares foi concluída em 1998. Os resultados mostraram que 60-89% das publicações não incluem detalhes sobre o tamanho da amostra, intervalos de confiança, e não tinham detalhes suficientes sobre a alocação da randomização e tratamento . 22}

não se deve presumir que revisão por pares garante precisão.
Revisores

O papel do revisor é complexa. Eles são esperados para avaliar os méritos científicos ou técnicos de um documento, determinar sua novidade, considerar a sua clareza de apresentação, verifique a pertinência de ilustrações, tabelas e referências, identificar falhas, sugerir melhorias e oferecer uma decisão sobre a aceitação ou rejeição, geralmente em de forma atempada e sem qualquer compensação monetária. ^{4 Desde colaboradores são fundamentais para o sucesso do processo de revisão por pares devem ser escolhidos com cuidado e deliberação. Em 2007, um estudo de 306 colaboradores experientes confirmou que, "não há nenhuma facilmente identificáveis ​​tipos de treinamento formal ou experiência que predizem o desempenho do revisor. Habilidade na análise científica pode ser tão mal definido e difícil de transmitir, como é o senso comum. " 23 atualmente não há nenhum bom método de avaliação do desempenho revisor e nenhum sistema uniforme aceitável para escolhê-los. 24 Parece que muitos usuários são selecionados por um editor considere-os a ser "especialistas" e que eles estão disponíveis. 3}

alguns usuários serão informados e completa, alguns vão ser tendenciosa e têm conflitos de interesse, enquanto outros se recusam a considerar temas não convencionais ou controversos. Infelizmente, essas características não são disponibilizados para os autores e leitores.
Competição

revistas comerciais competem pelos mesmos leitores como periódicos revisados ​​por pares. Eles têm altas taxas de anúncio para texto, são geralmente livre, não estão relacionados com as associações profissionais, raramente têm de revisão por pares artigos e raramente são citados na literatura médica /odontológica. ^{25 No entanto, um estudo realizado por Rochon e colegas mostraram que, em comparação com revisão por pares revistas, artigos em publicações com fins lucrativos comerciais foram consideradas pelos médicos para ser mais fácil de ler e compreender, para abordar as questões mais importantes e para fornecer mais informações relevantes para a prática clínica. 25
finalidade}

Em seu artigo controverso, "revisão por pares um processo falho no coração da ciência e revistas" Dr. Smith faz a pergunta crítica: "o que é revisão por pares para?" ²

os revisores pode considerá-lo como um impulsionador do ego e como um acessório para carreiras acadêmicas e profissionais. Editores pode ver revisão por pares como um auxiliar de tomada de decisão sobre a rejeição ou aceitação de artigos, enquanto a adição de uma certa cache para seus diários. Autores encontrar os atrasos nas decisões e editores comentários frustrante, e mesmo aqueles cujos documentos são aceitos estão decepcionados com a qualidade dos comentários. ^{26 No entanto, a pergunta do Dr. Smith é respondido, afirmando que há pouco propósito na avaliação pelos pares, a menos que tem uma influência directa no atendimento ao paciente.}

Hoje, revisões sistemáticas, meta-análises e opiniões de especialistas são a base do tratamento baseada em evidências. Estes são geralmente submetidos a revisão por pares. Como foi demonstrado acima, revisão por pares é um processo longe de perfeito. Ela não tem normas em relação à precisão, qualidade e consistência, e nenhum meio objetivo de avaliar a competência dos seus colaboradores. Portanto, com base em revisão por pares para dirigir o atendimento ao paciente pode ser menor do que prudente. Não surpreendentemente, muito pouco se sabe sobre os efeitos benéficos, se houver, que revisão por pares tem em melhorar o estado de saúde. ^{4 De fato, é possível que ele é menos bem sucedido nesta tarefa do que são os artigos e ponteiros clínicos publicados em as revistas comerciais. 25}

a ambiguidade associada a revisão por pares e seu efeito sobre o atendimento ao paciente é demonstrado em recentes edições do Jornal da Associação canadense Dental. ^{27,28 The Journal publicou seis "Point of Care" artigos nestas edições. Dois foram submetidos a revisão por pares, mas quatro não eram. São leitores para presumir que estes quatro são inferiores até mesmo se eles acham que o conteúdo seja pertinente e de valor prático? No caso de qualquer confusão ser evitada simplesmente ignorando a designação de revisão por pares? Nesse caso, por que tê-lo?
Conclusão}

A revisão por pares é um processo imperfeito que tem atraído considerável, mas justificável crítica adversa. Uma revisão Cochrane do assunto encontrou poucas evidências que suportam a eficácia de revisão por pares editorial. ^{29 Consequentemente, afigura-se que as opiniões do Dr. Smith são mais realistas do que os de Dr. O'Keefe.}

No entanto, pode ser prematuro abandonar revisão por pares como uma causa perdida. O desafio para todos os editores que apoiam revisão por pares é provar, de uma forma transparente e objectiva, que sempre rejeita documentos irrelevantes, enganosas, triviais e fracas, melhora a precisão, clareza e utilidade dos trabalhos aceitos, e tem um efeito positivo no atendimento ao paciente.

Se esse desafio for cumprido, revisão pelos pares terá atributos que justificam a sua existência.

Entretanto, os leitores seriam bem aconselhados para julgar todos os artigos em seus méritos, independentemente de qualquer designação de revisão por pares.

Dr. Hardie estava intimamente envolvido no desenvolvimento das diretrizes baseadas em evidências RCDSO 1996. Desde então, ele tem mantido um interesse neste tema e como ele e doenças relacionadas ter influenciado recomendações de controle de infecção dentária.

Oral Saúde saúda este artigo original.
Referências

1. O'Keefe J. Uma saudação aos nossos revisores. J pode Dent Assoc 2010; 76 (1): 21.

2. Smith avaliação R. pares: um processo falho no coração da ciência e revistas. J R Soc Med 2006; 99: 178-182.

3. Benos DJ, Bashiri E, Chaves JM et al. Os altos e baixos de revisão por pares. Adv.Physiol Educ 2007; 31: 145-152.

4. Jefferson T, Wager E, Davidoff F. medir a qualidade da Editorial Peer Review. JAMA 2002; 287 (21): 2786-2789.

5. Rennie D. Guardando os Guardiões: A Conferência sobre Editorial Peer Review. JAMA 1986; 256 (17): 2391-2392.

6. McCullough BD, McKintrick R. verificar os números: The Case for Due Diligence na formação de políticas. Estudos em Risco e Regulação. Instituto Fraser, de Fevereiro de 2009.

7. Kranish M. Defeitos são encontrados na validação de estudos médicos. Muitos vêem precisa de revisar os padrões de análise pelos pares. O Boston Globe, 15 de agosto de 2005.

8. Bailar JC, Patterson K. Jornal de revisão por pares: A necessidade de uma agenda de pesquisa. N Engl J Med 1985; 312: 654-657.

9. Bloquear S. um equilíbrio difícil: Peer Review Editorial em Medicina. Londres, o Nuffield hospitais provinciais Trust, 1985.

10. Smith R. revisão por pares: reforma ou revolução. BMJ 1997; 315: 759-760.

11. Jefferson T, Alderson P, Wager E, Davidoff F. Efeitos da Editorial Peer Review. Uma revisão sistemática. JAMA 2002; 287: 2784-2786.

12. Rennie D. Congresso Internacional Quarta na revisão pelos pares na publicação biomédica. JAMA 2002; 287: 2759- 2760.

13. Wager E, Jefferson T. Deficiências de revisão por pares em revistas biomédicas. Aprendeu Publishing 2001; 14: 257-263.

14. Godlee F, Gale CR, Martyn CN. Efeito sobre a qualidade da revisão por pares de cegar revisores e pedindo-lhes para assinar os seus relatórios: um estudo controlado randomizado. JAMA 1998; 280: 237-240.

15. Callaham ML, Baxt WG, Waeckerle JF, veste RL. Confiabilidade das avaliações de qualidade subjetivos dos editores das avaliações entre pares de manuscritos. JAMA 1989; 280: 229-231.

16. Bloquear S. As grosseiras falhas de revisão por pares. BMJ 1993; 307: 382.

17. Peters DP, Ceci SJ. práticas de revisão por pares de revistas psicológicas: o destino de artigos publicados, submetido novamente. Behavioral and Brain Sciences 1982; 5: 187-195.

18. Office of Research Integrity Relatório Anual de 1999. Washington, DC: Departamento de Saúde e Serviços Humanos. 1999.

19. Rennie D. falta e revisão por pares. Em Godlee F, Jefferson T (eds), Peer Review em Ciências da Saúde. Londres: BMJ Books, 1999, 90-99.

20. Pitkin R, Branagan MA, Burmeister LF. Exactidão dos dados em resumos de artigos de pesquisa publicados. JAMA 1999; 281: 1110-1111.

21. Wager E, Middleton P. Referência precisão em periódicos revisados ​​por pares: uma revisão sistemática. Aceito para apresentação no 4º Congresso Internacional de Avaliação dos Pares na publicação biomédica. Barcelona, ​​setembro de 2001.

22. Moher D. CONSORT: uma ferramenta evolutiva para ajudar a melhorar a qualidade dos relatórios de estudos randomizados controlados. JAMA 1998; 279: 1489-1491.

23. Callaham M, Trecier J. O relacionamento da formação anterior e experiência dos avaliadores diário para posterior Qualidade Review. PloS Med 4 (1): e40.doi: 10.1371 /journal.pmed.0040040.

24. Polak JF. O Papel do manuscrito Viajante no processo de revisão pelos pares. AJR 1995; 165: 686-688.

25. Rochon PA, Bero LA, Bay A et al. Comparação de Artigos de Revisão Publicado em peer-reviewed e descartáveis ​​Revistas. JAMA 2002; 287: 2853-2856.

26. Weber EJ, Katz PP, Waeckerle JF, Callaham M. Autor Percepção de revisão por pares. Impacto da revisão de qualidade e aceitação por satisfação. JAMA 2002; 287: 2790-2792.

27. J pode Dent Assoc 2010; 76 (2): 111-116.

28. J pode Dent Assoc 2010; 76 (3): 177-181.

29. Jefferson t, Rudin H, Brodney FS et al. revisão por pares Editorial para melhorar a qualidade dos relatórios de estudos biomédicos. Dados Cochrane de Revisões Sistemáticas 2007, Issue 2. Art. No.:MR000016.DOI:10.1002/14651858.MR000016.pub3.