Правенето на добра наука е предизвикателство: Оттеглянето на важно проучване за възпроизводимост стимулира саморефлексия

Правенето на добра наука е предизвикателство: Оттеглянето на важно проучване за възпроизводимост стимулира саморефлексия

Оттеглянето на нашумяла хартия 1, на Методи за подобряване на валидността на научните изследвания тестван подчерта предизвикателствата на такова изследване на „възпроизводимостта“. Авторите на оттеглената статия включват няколко Светила в тази област.

В изследването, публикувано миналия ноември в Nature Human Behavior, авторите описват строг изследователски протокол с функции като големи размери на извадката, за да се гарантира валидността на психологическите експерименти. Авторите приложиха своя протокол към десетки изследователски проекти. Те съобщават, че при 86% от опитите за репликация, очакваните резултати са били потвърдени – един от най-високите „степени на репликация“, регистрирани някога в подобни проучвания. Но редакторите на списанието оттеглиха статията на 23 септември, посочвайки в известието за оттегляне 2, че те „вече нямат доверие в достоверността на резултатите и заключенията“.

Авторите са съгласни с опасенията на списанието само по една точка, която те приписват на непреднамерен пропуск. Един от авторите, Джонатан Скулър, психолог от Калифорнийския университет в Санта Барбара, каза пред Nature, че изследователската група работи върху нова версия на ръкописа за повторно изпращане.

Изследователи, следящи случая, казват, че той... Проблеми на принципа на отворената наука: предварителна регистрация което включва практиката да се определят детайлите на изследването, включително хипотези и планирани анализи, в писмена форма преди провеждането му, за да се предотврати манипулиране на данни и избирателно докладване на резултатите.

„Това показва, че добрата наука е трудна, много по-трудна, отколкото повечето хора си мислят“, казва Сам Шварцкопф, визуален невролог в Университета на Оукланд в Нова Зеландия. „Често хората, които се регистрират предварително, откриват, че техните добре обмислени планове не се реализират, когато се сблъскат със студената, тежка реалност на събирането на данни.“

Четири екипа и 64 опита за повторение

Документът описва сложен и обширен експеримент: четири изследователски екипа са провели регистрирани пилотни проучвания в областите на социалните науки. Например, едно от проучванията изследва дали натискът от време влияе върху вземането на решения 3. Ако пилотното проучване открие ефект, екипът се опита да потвърди резултатите в извадка от най-малко 1500 души. И четирите екипа се опитаха да възпроизведат избраните експерименти, за да видят дали ще постигнат същите резултати. Всеки отбор се опита да възпроизведе четири от собствените си експерименти и четири от всеки от трите други отбора.

От 64-те опита за репликация, 86% са били успешни – тоест те са дали очакваните и статистически значими резултати. За сравнение, други изследвания на репликация в областта на социалните науки отчитат средна скорост на репликация от 50%.

Авторите на оттегленото проучване приписват високия процент на репликация на "строги практики", като големи размери на извадката, Предварителна регистрация и Прозрачност относно методите назад. Възприемането на такива практики може да помогне за по-надеждни проучвания, пишат авторите.

Малко след публикуването на статията Джоузеф Бак-Коулман, социален учен от университета в Констанц в Германия, и Берна Девезер, която изучава маркетинг в университета на Айдахо в Москва, я поставиха под съмнение в препечатка 4, който е качен на сървъра на PsyArXiv, неговата валидност. Те отбелязаха, че авторите не са регистрирали предварително някои елементи от документа, включително централния въпрос: Ще увеличи ли протоколът на авторите възпроизводимостта? Отделно Бак-Коулман изпрати страници с анализ на редакторите на Nature Human Behavior, които започнаха разследване, което в крайна сметка доведе до оттеглянето.

В коментар 5, който придружава оттеглянето, Бак-Коулман и Девезер пишат, че „възпроизводимостта не е първоначалният резултат от проекта и анализите на възпроизводимостта не са били предварително регистрирани, както се твърди“. Известието за връщане Echo имаше тези изявления. (Nature Human Behavior се публикува от Springer Nature, която също издава Nature. Новинарският екип на Nature е редакционно независим от своя издател.)

Авторско признание

В деня на оттеглянето шестима от авторите на Nature Human Behavior публикуваха доклад със своите възгледи 6. В него те признават, че някои от анализите на изследването не са били предварително регистрирани. Въпреки това, те наричат ​​други твърдения в известието за оттегляне „неточни“, като познанията на авторите за данните по време на анализите, както е определено от Journal. Вестникът не е съгласен, че известието за оттегляне съдържа неточности.

Браян Носек, изпълнителен директор на Центъра за отворена наука в Шарлотсвил, Вирджиния, и съавтор на оттегленото проучване, казва, че е шокиращо да научи, че грешката при предварителната регистрация е била хвърлена чрез техните процеси за управление на проекти. „Не знам колко пъти съм чел този документ с тези погрешни твърдения за всичко, което е предварително регистрирано, и съм го пропуснал. Това беше просто грешка“, казва той.

Носек, смятан за пионер в предварителната регистрация, също казва, че първоначалната цел на проекта е била възпроизводимост, което противоречи на Бак-Коулман и Девезер.

Предизвикателства на предварителната регистрация

Сагата показва недостатъците на предварителната регистрация, казва Йоел Инбар, психолог от университета в Торонто, Канада. „Виждал съм много предварителни регистрации, които бяха неясни, не се спазваха стриктно или където окончателният документ беше комбинация от предварително регистриран и непредварително регистриран анализ“, казва той.

Inbar е все по-убеден, че по-добрият вариант е форматът за предварителна регистрация регистрирани отчети е мястото, където изследователите представят своя протокол от изследването, включително неговата обосновка и методи, в списание за преглед преди събирането на данни. Редакторите решават дали да приемат проучването въз основа на важността на изследователския въпрос и строгостта на методите и се ангажират да публикуват резултатите, ако работата е извършена, както е описано.

Други казват, че дневникът е част от проблема. Ан Шеел, метаучен от университета в Утрехт в Холандия, казва, че въпреки че авторите са допуснали грешки, редакторите е трябвало да забележат липсата на предварителна регистрация. Рецензентите не винаги проверяват предварителната регистрация, а големи списания като Nature Human Behavior „се нуждаят от процеси за действителна проверка на предварителната регистрация“, казва тя.

Говорител на вестника казва, че проучва промени в своите практики. „Списанието проучва начини за подобряване на прозрачността, стандартизацията и изискванията за докладване за предварителна регистрация в социалните и поведенческите науки, което ще засили усилията за наблюдение на спазването на предварителната регистрация“, добавя говорителят.

Загуба на време за всички

Мащабни проекти, в които множество изследователски групи провеждат едни и същи експерименти, са трудни за управление, обяснява Олаво Амарал, изследовател по възпроизводимост в Universidade Federal do Rio de Janeiro в Бразилия. Той говори от опит: той ръководи Бразилския проект за възпроизводимост, опит за възпроизвеждане на резултатите от десетки биомедицински изследвания, проведени в лаборатории в цялата страна. „Винаги можем да намерим грешки“, казва той.

Той казва, че критиките към оттегления документ трябва да бъдат разгледани, но проблемите не променят мнението му за работата. „Резултатите изглеждат доста възпроизводими“, казва той. „Не мисля, че критиката към предварителната регистрация променя много мнението ми за вестника.“

1. Protzko, J. et al. Nature Hum. Поведение 8, 311–319 (2023).

   статия
   PubMed
   
   Google Наука

2. Protzko, J. et al. Nature Hum. Поведение https://doi.org/10.1038/s41562-024-01997-3 (2024).

   статия
   
   Google Наука

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   статия
   PubMed
   
   Google Наука

4. Bak-Coleman, J. & Devezer, B. Preprint в PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Поведение https://doi.org/10.1038/s41562-024-01982-w (2024).

   статия
   
   Google Наука

6. Процко, Л. и др. Предпечат при https://osf.io/2s94g (2024).

Изтегляне на препратки