Suche
Mein Konto
A face o știință bună este o provocare: retragerea unui studiu important de reproductibilitate stimulează autoreflecția
Retragerea unui studiu semnificativ de reproductibilitate ridică întrebări cu privire la integritatea științifică și provocările unei bune cercetări.
A face o știință bună este o provocare: retragerea unui studiu important de reproductibilitate stimulează autoreflecția
Retragerea unei lucrări de mare profil 1, cel Metode de îmbunătățire a validității studiilor științifice testat a evidențiat provocările unei astfel de cercetări de „reproductibilitate”. Autorii lucrării retractate includ mai mulți Luminari în acest domeniu.
În studiul publicat în noiembrie anul trecut în Nature Human Behavior, au descris autorii un protocol de cercetare riguros cu caracteristici precum dimensiuni mari ale eșantioanelor pentru a asigura validitatea experimentelor psihologice. Autorii și-au aplicat protocolul la zeci de proiecte de cercetare. Ei au raportat că în 86% dintre încercările de replicare, rezultatele așteptate au fost confirmate - una dintre cele mai mari „rate de replicare” înregistrate vreodată în astfel de studii. Dar editorii revistei au retras lucrarea pe 23 septembrie, afirmând în anunțul de retragere 2, că „nu mai au încredere în fiabilitatea rezultatelor și concluziilor”.
Autorii sunt de acord cu preocupările revistei doar cu privire la un punct, pe care îl atribuie unei neglijeri accidentale. Unul dintre autori, Jonathan Schooler, psiholog la Universitatea din California, Santa Barbara, a declarat pentru Nature că grupul de cercetare lucrează la o nouă versiune a manuscrisului pentru retrimitere.
Cercetătorii care urmăresc cazul spun că el... Probleme ale unui principiu al științei deschise: preînregistrarea care implică practica de a stabili detaliile unui studiu, inclusiv ipotezele și analizele planificate, în scris înainte de efectuarea acestuia, pentru a preveni manipularea datelor și raportarea selectivă a rezultatelor.
„Ceea ce arată asta este că știința bună este grea, mult mai grea decât cred majoritatea oamenilor”, spune Sam Schwarzkopf, un neuroștiință vizual la Universitatea din Auckland din Noua Zeelandă. „De multe ori, oamenii care se înregistrează în prealabil constată că planurile lor bine gândite nu dau rezultate atunci când se confruntă cu realitatea rece și dură a colectării datelor.”
Patru echipe și 64 de încercări de replicare
Lucrarea descrie un experiment complex și amplu: patru echipe de cercetare au efectuat fiecare studii pilot înregistrate în domeniile științelor sociale. De exemplu, unul dintre studii a examinat dacă presiunea timpului afectează luarea deciziilor 3. Dacă studiul pilot a descoperit un efect, echipa a încercat să confirme rezultatele la un eșantion de cel puțin 1.500 de persoane. Toate cele patru echipe au încercat să reproducă experimentele selectate pentru a vedea dacă vor obține aceleași rezultate. Fiecare echipă a încercat să reproducă patru dintre propriile experimente și patru din fiecare dintre celelalte trei echipe.
Din cele 64 de încercări de replicare, 86% au avut succes – adică au produs rezultatele așteptate și semnificative statistic. În comparație, alte studii de replicare din domeniile științelor sociale raportează rate medii de replicare de 50%.
Autorii studiului retras au atribuit rata ridicată de replicare „practicilor riguroase”, cum ar fi dimensiunile mari ale eșantionului, Pre-înregistrare şi Transparență despre metode spate. Adoptarea unor astfel de practici ar putea ajuta la creșterea fiabilității studiilor, au scris autorii.
La scurt timp după ce lucrarea a fost publicată, Joseph Bak-Coleman, un om de științe sociale la Universitatea din Konstanz din Germania, și Berna Devezer, care studiază marketing la Universitatea din Idaho din Moscova, au pus-o la îndoială într-un preprint. 4, care a fost încărcat pe serverul PsyArXiv, valabilitatea acestuia. Ei au remarcat că autorii nu au preînregistrat unele elemente ale lucrării, inclusiv întrebarea centrală: Protocolul autorilor ar crește reproductibilitatea? Separat, Bak-Coleman a trimis pagini de analiză editorilor revistei Nature Human Behavior, care au lansat o investigație care a dus în cele din urmă la retragere.
Într-un comentariu 5, care a însoțit retragerea, Bak-Coleman și Devezer au scris că „reproductibilitatea nu a fost rezultatul inițial al proiectului și analizele de reproductibilitate nu au fost preînregistrate așa cum se susținea”. Notificarea de returnare Echo avea aceste declarații. (Nature Human Behavior este publicat de Springer Nature, care publică și Nature. Echipa de știri a lui Nature este independentă editorial de editorul său.)
O recunoaștere de autor
În ziua retragerii, șase dintre autorii cărții Nature Human Behavior au publicat un raport cu opiniile lor 6. În el, ei admit că unele dintre analizele studiului nu au fost preînregistrate. Cu toate acestea, ei numesc alte declarații din anunțul de retragere „inexacte”, cum ar fi cunoștințele autorilor cu privire la datele la momentul analizelor, așa cum este stabilit de Jurnal. Jurnalul nu este de acord că notificarea de retragere conține inexactități.
Brian Nosek, directorul executiv al Centrului pentru Științe Deschise din Charlottesville, Virginia și coautor al studiului retras, spune că a fost șocant să afle că eroarea de preînregistrare a fost generată prin procesele lor de management al proiectelor. "Nu știu de câte ori am citit lucrarea aia cu aceste declarații eronate despre tot ceea ce este preînregistrat și am ratat-o. A fost doar o greșeală", spune el.
Nosek, considerat un pionier în preînregistrare, mai spune că scopul inițial al proiectului a fost reproductibilitatea, contrazicându-l pe Bak-Coleman și Devezer.
Provocări ale preînregistrării
Saga arată defectele preînregistrării, spune Yoel Inbar, psiholog la Universitatea din Toronto din Canada. „Am văzut multe preînregistrări care au fost vagi, nu urmate cu strictețe sau în care lucrarea finală a fost un amestec de analiză preînregistrată și nepreînregistrată”, spune el.
Inbar este din ce în ce mai convins că o opțiune mai bună este formatul de preînregistrare rapoartele înregistrate este locul în care cercetătorii își trimit protocolul de studiu, inclusiv rațiunea și metodele acestuia, unui jurnal pentru revizuire înainte de colectarea datelor. Editorii decid dacă acceptă studiul în funcție de importanța întrebării de cercetare și de rigoarea metodelor și se angajează să publice rezultatele dacă munca se desfășoară așa cum este descris.
Alții spun că jurnalul face parte din problemă. Anne Scheel, om de știință la Universitatea Utrecht din Olanda, spune că, deși autorii au făcut greșeli, editorii ar fi trebuit să observe lipsa preînregistrării. Evaluatorii nu verifică întotdeauna preînregistrarea, iar reviste importante precum Nature Human Behavior „au nevoie de procese pentru a verifica efectiv preînregistrarea”, spune ea.
Un purtător de cuvânt al Jurnalului spune că explorează schimbări în practicile sale. „Revista explorează modalități de a îmbunătăți transparența, standardizarea și cerințele de raportare pentru preînregistrarea în științele sociale și comportamentale, ceea ce va consolida eforturile de monitorizare a conformității cu preînregistrarea”, adaugă purtătorul de cuvânt.
Pierdere de timp pentru toată lumea
Proiectele la scară largă în care mai multe grupuri de cercetare desfășoară aceleași experimente sunt dificil de gestionat, explică Olavo Amaral, cercetător în reproductibilitate la Universidade Federal do Rio de Janeiro din Brazilia. El vorbește din experiență: conduce Proiectul de reproductibilitate brazilian, o încercare de a reproduce rezultatele a zeci de studii biomedicale efectuate în laboratoare din toată țara. „Întotdeauna putem găsi greșeli”, spune el.
El spune că criticile aduse lucrării retractate trebuie abordate, dar problemele nu îi schimbă opinia despre lucrare. „Rezultatele par a fi destul de replicabile”, spune el. „Nu cred că critica la adresa preînregistrării îmi schimbă prea mult părerea despre lucrare.”
-
Protzko, J. şi colab. Nature Hum. Comportament 8, 311–319 (2023).
-
Protzko, J. şi colab. Nature Hum. Comportament https://doi.org/10.1038/s41562-024-01997-3 (2024).
-
Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).
-
Bak-Coleman, J. & Devezer, B. Preprint la PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).
-
Bak-Coleman, J. & Devezer, B. Nature Hum. Comportament https://doi.org/10.1038/s41562-024-01982-w (2024).
-
Protzko, L. şi colab. Pretipărire la https://osf.io/2s94g (2024).