Wykonywanie dobrej nauki jest wyzwaniem: wycofanie ważnego badania odtwarzalności stymuluje autorefleksję

Wykonywanie dobrej nauki jest wyzwaniem: wycofanie ważnego badania odtwarzalności stymuluje autorefleksję

Wycofanie głośnego artykułu 1, Metody podnoszenia wiarygodności badań naukowych testowane uwydatniło wyzwania stojące przed takimi badaniami nad powtarzalnością. Autorów wycofanego artykułu jest kilku Luminatorzy w tej dziedzinie.

Autorzy opisali to w badaniu opublikowanym w listopadzie ubiegłego roku w czasopiśmie Nature Human Behaviour rygorystyczny protokół badawczy obejmujący takie cechy, jak duża wielkość próby, aby zapewnić ważność eksperymentów psychologicznych. Autorzy zastosowali swój protokół w kilkudziesięciu projektach badawczych. Poinformowali, że w 86% prób replikacji potwierdzono oczekiwane wyniki – jest to jeden z najwyższych „wskaźników replikacji”, jakie kiedykolwiek odnotowano w tego typu badaniach. Jednak redaktorzy czasopisma wycofali artykuł 23 września, podając informację w zawiadomieniu o wycofaniu publikacji 2, że „nie mają już zaufania do wiarygodności wyników i wniosków”.

Autorzy zgadzają się z zastrzeżeniami czasopisma tylko w jednym punkcie, który przypisują nieumyślnemu przeoczeniu. Jeden z autorów, Jonathan Schooler, psycholog z Uniwersytetu Kalifornijskiego w Santa Barbara, powiedział Nature, że grupa badawcza pracuje nad nową wersją rękopisu w celu ponownego przesłania.

Badacze śledzący sprawę twierdzą, że... Problemy zasady otwartej nauki: rejestracja wstępna co polega na praktyce ustalania szczegółów badania, w tym hipotez i planowanych analiz, na piśmie przed jego przeprowadzeniem, aby zapobiec manipulacji danymi i selektywnemu raportowaniu wyników.

„To pokazuje, że dobra nauka jest trudna, znacznie trudniejsza, niż większość ludzi myśli” – mówi Sam Schwarzkopf, neurobiolog wizualny na Uniwersytecie w Auckland w Nowej Zelandii. „Często osoby, które dokonują wstępnej rejestracji, stwierdzają, że ich przemyślane plany nie przynoszą efektów, gdy stają w obliczu zimnej i twardej rzeczywistości gromadzenia danych”.

Cztery zespoły i 64 próby replikacji

W artykule opisano złożony i rozległy eksperyment: każdy z czterech zespołów badawczych przeprowadził zarejestrowane badania pilotażowe w obszarach nauk społecznych. Na przykład w jednym z badań sprawdzano, czy presja czasu wpływa na proces podejmowania decyzji 3. Jeśli badanie pilotażowe wykazało jakiś efekt, zespół próbował potwierdzić wyniki na próbie co najmniej 1500 osób. Wszystkie cztery zespoły próbowały odtworzyć wybrane eksperymenty, aby sprawdzić, czy osiągną takie same wyniki. Każdy zespół próbował powtórzyć cztery własne eksperymenty i po cztery z każdego z trzech pozostałych zespołów.

Spośród 64 prób replikacji 86% zakończyło się sukcesem, czyli dało oczekiwane i statystycznie istotne wyniki. Dla porównania, inne badania dotyczące replikacji w dziedzinach nauk społecznych podają średni współczynnik replikacji na poziomie 50%.

Autorzy wycofanego badania przypisywali jego wysoki współczynnik replikacji „rygorystycznym praktykom”, takim jak duża wielkość próby, Rejestracja wstępna I Przejrzystość metod z powrotem. Autorzy napisali, że przyjęcie takich praktyk może pomóc w zwiększeniu wiarygodności badań.

Niedługo po opublikowaniu artykułu Joseph Bak-Coleman, socjolog z Uniwersytetu w Konstancji w Niemczech i Berna Devezer, studiująca marketing na Uniwersytecie Idaho w Moskwie, zakwestionowali go w przeddruku 4, który został przesłany na serwer PsyArXiv, jego ważność. Zauważyli, że autorzy nie zarejestrowali wcześniej niektórych elementów artykułu, w tym głównego pytania: czy protokół autorów zwiększy powtarzalność? Osobno Bak-Coleman przesłał strony analiz do redaktorów Nature Human Behaviour, którzy wszczęli dochodzenie, które ostatecznie doprowadziło do wycofania swojej opinii.

W komentarzu 5, dołączonej do wycofania wniosku, Bak-Coleman i Devezer napisali, że „odtwarzalność nie była pierwotnym wynikiem projektu i, jak twierdzono, analizy odtwarzalności nie zostały wcześniej zarejestrowane”. Zawiadomienie o zwrocie Echo zawierało te stwierdzenia. (Nature Human Behaviour wydawane jest przez wydawnictwo Springer Nature, które publikuje także Nature. Zespół informacyjny Nature jest redakcyjnie niezależny od wydawcy.)

Autorskie uznanie

W dniu wystąpienia sześciu autorów „Nature Human Behaviour” opublikowało raport przedstawiający swoje poglądy 6. Przyznają w nim, że część analiz zawartych w badaniu nie została wcześniej zarejestrowana. Jednakże inne stwierdzenia zawarte w zawiadomieniu o wycofaniu skargi uznają za „niedokładne”, jak na przykład wiedza autorów na temat danych w momencie analiz, ustalona przez „Dziennik”. Dziennik nie zgadza się z twierdzeniem, że zawiadomienie o odstąpieniu od umowy zawiera nieścisłości.

Brian Nosek, dyrektor wykonawczy Center for Open Science w Charlottesville w Wirginii i współautor wycofanego badania, twierdzi, że szokująca była informacja, że ​​w procesach zarządzania projektami wyrzucono błąd związany z rejestracją wstępną. „Nie wiem, ile razy czytałem tę gazetę zawierającą błędne stwierdzenia na temat wszystkiego, co zostało zarejestrowane wcześniej, a co przegapiłem. To była po prostu pomyłka” – mówi.

Nosek, uważany za pioniera prerejestracji, twierdzi również, że pierwotnym celem projektu była powtarzalność, co zaprzecza Bak-Colemanowi i Devezerowi.

Wyzwania związane z rejestracją wstępną

Saga pokazuje wady rejestracji wstępnej, mówi Yoel Inbar, psycholog z Uniwersytetu w Toronto w Kanadzie. „Widziałem wiele rejestracji wstępnych, które były niejasne, których nie przestrzegano ściśle lub których ostateczna publikacja stanowiła połączenie analiz zarejestrowanych i niezarejestrowanych” – mówi.

Inbar jest coraz bardziej przekonany, że lepszą opcją jest forma rejestracji wstępnej zarejestrowane raporty to miejsce, w którym badacze przesyłają protokół badania, w tym jego uzasadnienie i metody, do czasopisma w celu przeglądu przed zebraniem danych. Redaktorzy podejmują decyzję o przyjęciu badania na podstawie wagi zagadnienia badawczego i rygoru metod oraz zobowiązują się do opublikowania wyników, jeśli prace zostaną wykonane zgodnie z opisem.

Inni twierdzą, że czasopismo jest częścią problemu. Anne Scheel, metanaukowiec z Uniwersytetu w Utrechcie w Holandii, twierdzi, że choć autorzy popełnili błędy, redaktorzy powinni byli zauważyć brak rejestracji wstępnej. Recenzenci nie zawsze sprawdzają rejestrację wstępną, a główne czasopisma, takie jak Nature Human Behaviour, „potrzebują procesów, aby faktycznie sprawdzić rejestrację wstępną” – mówi.

Rzecznik dziennika twierdzi, że bada on zmiany w swoich praktykach. „Czasopismo bada sposoby poprawy przejrzystości, standaryzacji i wymogów w zakresie raportowania w przypadku rejestracji wstępnej w naukach społecznych i behawioralnych, co wzmocni wysiłki na rzecz monitorowania zgodności z rejestracją wstępną” – dodaje rzecznik.

Strata czasu dla wszystkich

Projekty na dużą skalę, w których wiele grup badawczych przeprowadza te same eksperymenty, są trudne do zarządzania, wyjaśnia Olavo Amaral, badacz powtarzalności na Universidade Federal do Rio de Janeiro w Brazylii. Mówi z doświadczenia: Kieruje brazylijskim projektem odtwarzalności, próbą odtworzenia wyników kilkudziesięciu badań biomedycznych prowadzonych w laboratoriach na terenie całego kraju. „Zawsze możemy znaleźć błędy” – mówi.

Twierdzi, że należy zająć się krytyką wycofanego artykułu, ale problemy nie zmieniają jego opinii o pracy. „Wyniki wydają się być w miarę powtarzalne” – mówi. „Nie sądzę, że krytyka rejestracji wstępnej znacząco zmieni moją opinię o gazecie”.

1. Protzko, J. i in. Buczenie natury Zachowanie 8, 311–319 (2023).

   Artykuł
   PubMed
   
   Scholar Google

2. Protzko, J. i in. Buczenie natury Zachowanie https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Artykuł
   
   Scholar Google

3. Protzko, J., Zedelius, CM i Schooler, J.W. Psychol. Nauka. 30, 1584–1591 (2019).

   Artykuł
   PubMed
   
   Scholar Google

4. Bak-Coleman, J. & Devezer, B. Preprint w PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. i Devezer, B. Nature Hum. Zachowanie https://doi.org/10.1038/s41562-024-01982-w (2024).

   Artykuł
   
   Scholar Google

6. Protzko, L. i in. Przeddruk o godz https://osf.io/2s94g (2024).

Pobierz referencje