Fazer boa ciência é desafiador: a retirada de um importante estudo de reprodutibilidade estimula a autorreflexão

Fazer boa ciência é desafiador: a retirada de um importante estudo de reprodutibilidade estimula a autorreflexão

A retirada de um jornal de alto perfil 1, o Métodos para melhorar a validade dos estudos científicos testado destacou os desafios dessa pesquisa de “reprodutibilidade”. Os autores do artigo retratado incluem vários Luminares neste campo.

No estudo publicado em novembro passado na Nature Human Behavior, os autores descreveram um protocolo de pesquisa rigoroso com características como grandes tamanhos de amostras para garantir a validade de experimentos psicológicos. Os autores aplicaram seu protocolo a dezenas de projetos de pesquisa. Eles relataram que em 86% das tentativas de replicação, os resultados esperados foram confirmados – uma das mais altas “taxas de replicação” já registradas em tais estudos. Mas os editores da revista retiraram o artigo em 23 de setembro, afirmando no aviso de retratação 2, que “já não têm confiança na fiabilidade dos resultados e conclusões”.

Os autores concordam com as preocupações da revista em apenas um ponto, que atribuem a um descuido inadvertido. Um dos autores, Jonathan Schooler, psicólogo da Universidade da Califórnia, em Santa Bárbara, disse à Nature que o grupo de pesquisa está trabalhando em uma nova versão do manuscrito para reapresentação.

Pesquisadores que acompanham o caso dizem que ele... Problemas de um princípio de ciência aberta: pré-registro que envolve a prática de expor os detalhes de um estudo, incluindo hipóteses e análises planejadas, por escrito antes de conduzi-lo para evitar a manipulação de dados e o relato seletivo dos resultados.

“O que isto mostra é que a boa ciência é difícil, muito mais difícil do que a maioria das pessoas pensa”, diz Sam Schwarzkopf, neurocientista visual da Universidade de Auckland, na Nova Zelândia. “Muitas vezes, as pessoas que fazem o pré-registro descobrem que seus planos bem elaborados não dão certo quando são confrontadas com a dura e fria realidade da coleta de dados.”

Quatro equipes e 64 tentativas de replicação

O artigo descreve um experimento complexo e extenso: quatro equipes de pesquisa conduziram, cada uma, estudos-piloto registrados nas áreas de ciências sociais. Por exemplo, um dos estudos examinou se a pressão do tempo afeta a tomada de decisões 3. Se o estudo piloto descobrisse algum efeito, a equipe tentaria confirmar os resultados em uma amostra de pelo menos 1.500 pessoas. Todas as quatro equipes tentaram reproduzir os experimentos selecionados para ver se alcançariam os mesmos resultados. Cada equipe tentou replicar quatro de seus próprios experimentos e quatro de cada uma das outras três equipes.

Das 64 tentativas de replicação, 86% foram bem-sucedidas – ou seja, produziram os resultados esperados e estatisticamente significativos. Em comparação, outros estudos de replicação nas áreas das ciências sociais relatam taxas médias de replicação de 50%.

Os autores do estudo retratado atribuíram sua alta taxa de replicação a "práticas rigorosas", como amostras grandes, Pré-inscrição e Transparência sobre métodos voltar. A adoção de tais práticas poderia ajudar a tornar os estudos mais confiáveis, escreveram os autores.

Pouco depois da publicação do artigo, Joseph Bak-Coleman, cientista social da Universidade de Konstanz, na Alemanha, e Berna Devezer, que estuda marketing na Universidade de Idaho, em Moscou, questionaram-no em uma pré-impressão 4, que foi carregado no servidor PsyArXiv, sua validade. Observaram que os autores não haviam pré-registrado alguns elementos do artigo, incluindo a questão central: o protocolo dos autores aumentaria a reprodutibilidade? Separadamente, Bak-Coleman enviou páginas de análise aos editores da Nature Human Behavior, que iniciaram uma investigação que levou à retratação.

Em um comentário 5, que acompanhou a retirada, Bak-Coleman e Devezer escreveram que “a reprodutibilidade não era o resultado original do projeto e as análises de reprodutibilidade não foram pré-registradas conforme alegado”. O aviso de devolução da Echo continha essas declarações. (Nature Human Behavior é publicado pela Springer Nature, que também publica Nature. A equipe de notícias da Nature é editorialmente independente de seu editor.)

Um reconhecimento autoral

No dia da retirada, seis dos autores de Nature Human Behavior publicaram um relatório com suas opiniões 6. Nele admitem que algumas análises do estudo não foram pré-registradas. No entanto, eles chamam outras afirmações do aviso de retratação de “imprecisas”, como o conhecimento dos dados pelos autores no momento das análises, conforme determinado pela Revista. O Jornal discorda que o aviso de retirada contenha imprecisões.

Brian Nosek, diretor executivo do Center for Open Science em Charlottesville, Virgínia, e coautor do estudo retratado, diz que foi chocante saber que o erro de pré-registro foi lançado nos processos de gerenciamento de projetos. “Não sei quantas vezes li aquele jornal com essas afirmações errôneas sobre tudo que está pré-cadastrado e perdi. Foi só um erro”, diz.

Nosek, considerado pioneiro no pré-registro, também afirma que o objetivo original do projeto era a reprodutibilidade, contrariando Bak-Coleman e Devezer.

Desafios do pré-registro

A saga mostra as falhas do pré-registro, diz Yoel Inbar, psicólogo da Universidade de Toronto, no Canadá. “Tenho visto muitos pré-registros que eram vagos, não seguidos à risca ou onde o trabalho final era uma mistura de análises pré-registradas e não pré-registradas”, diz ele.

A Inbar está cada vez mais convencida de que a melhor opção é o formato de pré-registo relatórios registrados é onde os pesquisadores submetem seu protocolo de estudo, incluindo sua justificativa e métodos, a um periódico para revisão antes da coleta de dados. Os editores decidem se aceitam o estudo com base na importância da questão de pesquisa e no rigor dos métodos e comprometem-se a publicar os resultados se o trabalho for realizado conforme descrito.

Outros dizem que a revista é parte do problema. Anne Scheel, metacientista da Universidade de Utrecht, na Holanda, diz que embora os autores tenham cometido erros, os editores deveriam ter notado a falta de pré-registro. Os revisores nem sempre verificam o pré-registro, e periódicos importantes como Nature Human Behavior “precisam de processos para realmente verificar o pré-registro”, diz ela.

Um porta-voz do Journal afirma que está explorando mudanças em suas práticas. “A revista está explorando maneiras de melhorar a transparência, a padronização e os requisitos de relatórios para o pré-registro nas ciências sociais e comportamentais, o que fortalecerá os esforços para monitorar a conformidade do pré-registro”, acrescenta o porta-voz.

Perda de tempo para todos

Projetos de grande escala em que vários grupos de pesquisa conduzem os mesmos experimentos são difíceis de gerenciar, explica Olavo Amaral, pesquisador de reprodutibilidade da Universidade Federal do Rio de Janeiro, no Brasil. Ele fala por experiência própria: lidera o Projeto Brasileiro de Reprodutibilidade, uma tentativa de reproduzir os resultados de dezenas de estudos biomédicos realizados em laboratórios de todo o país. “Sempre podemos encontrar erros”, diz ele.

Ele diz que as críticas ao artigo retratado precisam ser abordadas, mas os problemas não mudam sua opinião sobre o trabalho. “Os resultados parecem ser bastante replicáveis”, diz ele. “Não creio que as críticas ao pré-registro mudem muito a minha opinião sobre o jornal.”

1. Protzko, J. et al. Natureza Hum. Comportamento 8, 311–319 (2023).

   Artigo
   PubMed
   
   Google Acadêmico

2. Protzko, J. et al. Natureza Hum. Comportamento https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Artigo
   
   Google Acadêmico

3. Protzko, J., Zedelius, CM & Schooler, JW Psychol. Ciência. 30, 1584–1591 (2019).

   Artigo
   PubMed
   
   Google Acadêmico

4. Bak-Coleman, J. & Devezer, B. Pré-impressão em PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Comportamento https://doi.org/10.1038/s41562-024-01982-w (2024).

   Artigo
   
   Google Acadêmico

6. Protzko, L. et al. Pré-imprimir em https://osf.io/2s94g (2024).

Baixar referências