Fare buona scienza è una sfida: il ritiro di un importante studio sulla riproducibilità stimola l’autoriflessione

Fare buona scienza è una sfida: il ritiro di un importante studio sulla riproducibilità stimola l’autoriflessione

Il ritiro di un documento di alto profilo 1, IL Metodi per migliorare la validità degli studi scientifici testato ha evidenziato le sfide di tale ricerca sulla “riproducibilità”. Gli autori del documento ritirato ne includono diversi Luminari in questo campo.

Nello studio pubblicato lo scorso novembre su Nature Human Behavior, gli autori hanno descritto un protocollo di ricerca rigoroso con caratteristiche come campioni di grandi dimensioni per garantire la validità degli esperimenti psicologici. Gli autori hanno applicato il loro protocollo a dozzine di progetti di ricerca. Hanno riferito che nell'86% dei tentativi di replica, i risultati attesi sono stati confermati: uno dei "tassi di replica" più alti mai registrati in tali studi. Ma i redattori della rivista hanno ritirato l'articolo il 23 settembre, dichiarandolo nell'avviso di ritiro 2, che "non hanno più fiducia nell'affidabilità dei risultati e delle conclusioni".

Gli autori concordano con le preoccupazioni della rivista solo su un punto, che attribuiscono a una svista involontaria. Uno degli autori, Jonathan Schooler, psicologo dell'Università della California, Santa Barbara, ha detto a Nature che il gruppo di ricerca sta lavorando su una nuova versione del manoscritto per essere ripresentato.

I ricercatori che seguono il caso dicono che... Problemi di un principio di scienza aperta: la preregistrazione che implica la pratica di esporre per iscritto i dettagli di uno studio, comprese ipotesi e analisi pianificate, prima di conducerlo per evitare la manipolazione dei dati e la comunicazione selettiva dei risultati.

"Ciò dimostra che la buona scienza è difficile, molto più difficile di quanto la maggior parte della gente pensi", afferma Sam Schwarzkopf, neuroscienziato visivo dell'Università di Auckland in Nuova Zelanda. "Spesso, le persone che si preregistrano scoprono che i loro piani ben ponderati non funzionano quando si confrontano con la fredda e dura realtà della raccolta dei dati."

Quattro squadre e 64 tentativi di replica

L'articolo descrive un esperimento complesso ed esteso: quattro gruppi di ricerca hanno condotto ciascuno studi pilota registrati nei settori delle scienze sociali. Uno degli studi, ad esempio, ha esaminato se la pressione del tempo influisce sul processo decisionale 3. Se lo studio pilota avesse scoperto un effetto, il team avrebbe cercato di confermare i risultati in un campione di almeno 1.500 persone. Tutti e quattro i team hanno provato a riprodurre gli esperimenti selezionati per vedere se avrebbero ottenuto gli stessi risultati. Ogni squadra ha tentato di replicare quattro dei propri esperimenti e quattro di ciascuna delle altre tre squadre.

Dei 64 tentativi di replica, l’86% ha avuto successo, ovvero ha prodotto i risultati attesi e statisticamente significativi. In confronto, altri studi di replica nel campo delle scienze sociali riportano tassi di replica medi del 50%.

Gli autori dello studio ritrattato hanno attribuito l’alto tasso di replicazione a “pratiche rigorose” come campioni di grandi dimensioni, Pre-registrazione E Trasparenza sui metodi Indietro. L’adozione di tali pratiche potrebbe contribuire a rendere gli studi più affidabili, hanno scritto gli autori.

Poco dopo la pubblicazione dell’articolo, Joseph Bak-Coleman, scienziato sociale dell’Università di Costanza in Germania, e Berna Devezer, che studia marketing all’Università dell’Idaho a Mosca, lo hanno messo in dubbio in un preprint 4, che è stato caricato sul server PsyArXiv, la sua validità. Hanno notato che gli autori non avevano preregistrato alcuni elementi dell'articolo, inclusa la domanda centrale: il protocollo degli autori aumenterebbe la riproducibilità? Separatamente, Bak-Coleman ha inviato pagine di analisi agli editori di Nature Human Behavior, che hanno avviato un’indagine che alla fine ha portato alla ritrattazione.

In un commento 5, che accompagnava il ritiro, Bak-Coleman e Devezer hanno scritto che "la riproducibilità non era il risultato originale del progetto e le analisi di riproducibilità non erano state preregistrate come affermato". L'avviso di reso Echo conteneva queste dichiarazioni. (Nature Human Behavior è pubblicato da Springer Nature, che pubblica anche Nature. Il team giornalistico di Nature è editorialmente indipendente dal suo editore.)

Un riconoscimento autoriale

Il giorno del ritiro, sei autori di Nature Human Behavior hanno pubblicato un rapporto con le loro opinioni 6. In esso ammettono che alcune analisi dello studio non erano state preregistrate. Tuttavia, definiscono “imprecise” altre affermazioni contenute nell’avviso di ritrattazione, come la conoscenza dei dati da parte degli autori al momento delle analisi, come determinato dal Journal. La Rivista non è d'accordo sul fatto che l'avviso di ritiro contenga inesattezze.

Brian Nosek, direttore esecutivo del Center for Open Science di Charlottesville, Virginia, e coautore dello studio ritirato, afferma che è stato scioccante apprendere che l'errore di preregistrazione è stato generato dai processi di gestione del progetto. "Non so quante volte ho letto quel documento con queste affermazioni errate su tutto ciò che è preregistrato e non l'ho visto. È stato solo un errore", dice.

Nosek, considerato un pioniere della preregistrazione, afferma inoltre che l'obiettivo originale del progetto era la riproducibilità, contraddicendo Bak-Coleman e Devezer.

Sfide di pre-registrazione

La saga mostra i difetti della pre-registrazione, afferma Yoel Inbar, psicologo dell'Università di Toronto in Canada. "Ho visto molte preregistrazioni vaghe, non seguite rigorosamente, o in cui il documento finale era un mix di analisi preregistrate e non preregistrate", afferma.

Inbar è sempre più convinta che la soluzione migliore sia il formato della pre-registrazione rapporti registrati è il luogo in cui i ricercatori sottopongono il loro protocollo di studio, compresi il fondamento logico e i metodi, a una rivista per la revisione prima della raccolta dei dati. I redattori decidono se accettare lo studio in base all'importanza della domanda di ricerca e al rigore dei metodi e si impegnano a pubblicare i risultati se il lavoro viene svolto come descritto.

Altri dicono che il diario è parte del problema. Anne Scheel, metascienziata dell'Università di Utrecht nei Paesi Bassi, afferma che sebbene gli autori abbiano commesso degli errori, i redattori avrebbero dovuto notare la mancanza di preregistrazione. I revisori non sempre controllano la preregistrazione e le riviste più importanti come Nature Human Behavior "hanno bisogno di processi per verificare effettivamente la preregistrazione", afferma.

Un portavoce del Journal dice che sta esplorando cambiamenti alle sue pratiche. "La rivista sta esplorando modi per migliorare la trasparenza, la standardizzazione e i requisiti di rendicontazione per la preregistrazione nelle scienze sociali e comportamentali, il che rafforzerà gli sforzi per monitorare la conformità della preregistrazione", aggiunge il portavoce.

Perdita di tempo per tutti

I progetti su larga scala in cui più gruppi di ricerca conducono gli stessi esperimenti sono difficili da gestire, spiega Olavo Amaral, ricercatore sulla riproducibilità presso l’Universidade Federal do Rio de Janeiro in Brasile. Parla per esperienza: guida il progetto brasiliano di riproducibilità, un tentativo di riprodurre i risultati di dozzine di studi biomedici condotti nei laboratori di tutto il paese. “Possiamo sempre trovare errori”, afferma.

Dice che le critiche al documento ritirato devono essere affrontate, ma i problemi non cambiano la sua opinione sul lavoro. "I risultati sembrano essere abbastanza replicabili", dice. “Non credo che le critiche alla preregistrazione cambino molto la mia opinione sul giornale”.

1. Protzko, J. et al. Ronzio della natura. Comportamento 8, 311–319 (2023).

   Articolo
   PubMed
   
   Google Scholar

2. Protzko, J. et al. Ronzio della natura. Comportamento https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Articolo
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Articolo
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Prestampa su PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Natura Hum. Comportamento https://doi.org/10.1038/s41562-024-01982-w (2024).

   Articolo
   
   Google Scholar

6. Protzko, L. et al. Prestampa a https://osf.io/2s94g (2024).

Scarica riferimenti