Labas zinātnes veikšana ir izaicinājums: svarīga reproducējamības pētījuma atsaukšana stimulē pašrefleksiju

Labas zinātnes veikšana ir izaicinājums: svarīga reproducējamības pētījuma atsaukšana stimulē pašrefleksiju

Augsta līmeņa papīra atsaukšana 1, Zinātnisko pētījumu validitātes uzlabošanas metodes pārbaudītais ir uzsvēris šādu “reproducējamības” pētījumu izaicinājumus. Atsauktā darba autoru vidū ir vairāki Gaismekļi šajā jomā.

Pētījumā, kas publicēts pagājušā gada novembrī Nature Human Behavior, autori aprakstīja stingrs izpētes protokols ar tādām iezīmēm kā lieli izlases izmēri, lai nodrošinātu psiholoģisko eksperimentu derīgumu. Autori savu protokolu izmantoja desmitiem pētniecības projektu. Viņi ziņoja, ka 86% replikācijas mēģinājumu tika apstiprināti gaidītie rezultāti - viens no augstākajiem "replikācijas rādītājiem", kāds jebkad reģistrēts šādos pētījumos. Taču žurnāla redaktori atsauca rakstu 23. septembrī, norādot atsaukšanas paziņojumā 2, ka viņiem “vairs nav pārliecības par rezultātu un secinājumu ticamību”.

Autori piekrīt žurnāla bažām tikai par vienu punktu, ko viņi piedēvē netīšai neuzmanībai. Viens no autoriem, Džonatans Skolers, Kalifornijas Universitātes Santabarbaras psihologs, pastāstīja Nature, ka pētnieku grupa strādā pie jaunas manuskripta versijas atkārtotai iesniegšanai.

Pētnieki, kas seko šai lietai, saka, ka viņš... Atvērtās zinātnes principa problēmas: iepriekšēja reģistrācija kas ietver praksi pirms pētījuma veikšanas rakstiski izklāstīt pētījuma detaļas, tostarp hipotēzes un plānotās analīzes, lai novērstu manipulācijas ar datiem un selektīvu rezultātu ziņošanu.

"Tas liecina, ka laba zinātne ir grūta, daudz grūtāka, nekā vairums cilvēku domā," saka Sems Švarckopfs, Oklendas Universitātes Jaunzēlandē vizuālais neirozinātnieks. "Bieži vien cilvēki, kas reģistrējas iepriekš, atklāj, ka viņu labi pārdomātie plāni neizdodas, kad viņi saskaras ar auksto un grūto datu vākšanas realitāti."

Četras komandas un 64 replikācijas mēģinājumi

Rakstā aprakstīts sarežģīts un plašs eksperiments: katra četras pētnieku grupas veica reģistrētus pilotpētījumus sociālo zinātņu jomās. Piemēram, vienā no pētījumiem tika pārbaudīts, vai laika spiediens ietekmē lēmumu pieņemšanu 3. Ja izmēģinājuma pētījums atklāja efektu, komanda mēģināja apstiprināt rezultātus vismaz 1500 cilvēku izlasē. Visas četras komandas mēģināja reproducēt atlasītos eksperimentus, lai noskaidrotu, vai tie sasniegs tādus pašus rezultātus. Katra komanda mēģināja atkārtot četrus savus eksperimentus un četrus no katras no trim citām komandām.

No 64 replikācijas mēģinājumiem 86% bija veiksmīgi, tas ir, tie deva gaidītos un statistiski nozīmīgus rezultātus. Salīdzinājumam, citi replikācijas pētījumi sociālo zinātņu jomās ziņo par vidējo replikācijas līmeni 50%.

Atsauktā pētījuma autori tā augsto replikācijas ātrumu attiecināja uz "stingru praksi", piemēram, lielu izlases lielumu, Iepriekšēja pieteikšanās un Metožu caurspīdīgums atpakaļ. Autori rakstīja, ka šādas prakses pieņemšana varētu palīdzēt padarīt pētījumus ticamākus.

Neilgi pēc raksta publicēšanas Džozefs Bak-Kolemans, sociālais zinātnieks Konstancas Universitātē Vācijā, un Berna Devezera, kura studē mārketingu Aidaho Universitātē Maskavā, to apšaubīja priekšdrukā. 4, kas tika augšupielādēts PsyArXiv serverī, tā derīgums. Viņi atzīmēja, ka autori nebija iepriekš reģistrējuši dažus darba elementus, tostarp galveno jautājumu: vai autoru protokols palielinātu reproducējamību? Atsevišķi Bak-Coleman nosūtīja analīzes lapas Nature Human Behavior redaktoriem, kuri uzsāka izmeklēšanu, kas galu galā noveda pie atsaukšanas.

Komentārā 5, kas tika pievienots atsaukšanai, Bak-Coleman un Devezer rakstīja, ka "reproducējamība nebija sākotnējais projekta rezultāts un reproducējamības analīzes nebija iepriekš reģistrētas, kā apgalvots." Atgriešanas paziņojumā Echo bija šie paziņojumi. (Nature Human Behavior izdod Springer Nature, kas arī izdod Nature. Dabas ziņu komanda ir redakcionāli neatkarīga no izdevēja.)

Autora atzīšana

Izstāšanās dienā seši no Nature Human Behavior autoriem publicēja ziņojumu par saviem uzskatiem 6. Tajā viņi atzīst, ka dažas no pētījuma analīzēm nebija iepriekš reģistrētas. Tomēr viņi sauc citus paziņojumus par atsaukšanu par "neprecīziem", piemēram, autoru zināšanas par datiem analīzes laikā, kā noteikts žurnālā. Žurnāls nepiekrīt, ka paziņojumā par atsaukšanu ir neprecizitātes.

Braiens Noseks, Atvērtās zinātnes centra izpilddirektors Šarlotsvilā, Virdžīnijā, un atsauktā pētījuma līdzautors, saka, ka bija šokējoši uzzināt, ka iepriekšējas reģistrācijas kļūda tika izmesta viņu projektu pārvaldības procesos. "Es nezinu, cik reižu esmu lasījis šo avīzi ar šiem kļūdainajiem apgalvojumiem par visu, kas ir iepriekš reģistrēts, un palaidis garām to. Tā bija tikai kļūda," viņš saka.

Noseks, kurš tiek uzskatīts par iepriekšējas reģistrācijas pionieri, arī saka, ka projekta sākotnējais mērķis bija reproducējamība, kas ir pretrunā Bak-Coleman un Devezer.

Problēmas ar iepriekšēju reģistrāciju

Sāga parāda iepriekšējas reģistrācijas nepilnības, saka Joels Inbars, psihologs no Toronto universitātes Kanādā. "Esmu redzējis daudzas iepriekšējas reģistrācijas, kas bija neskaidras, nav stingri ievērotas vai kurās galīgais dokuments bija iepriekš reģistrētas un nereģistrētas analīzes sajaukums," viņš saka.

Inbar arvien vairāk pārliecinās, ka labāks risinājums ir iepriekšējas reģistrācijas formāts reģistrēti ziņojumi ir vieta, kur pētnieki iesniedz savu pētījuma protokolu, tostarp tā pamatojumu un metodes, žurnālā pārskatīšanai pirms datu vākšanas. Redaktori izlemj, vai pieņemt pētījumu, pamatojoties uz pētījuma jautājuma svarīgumu un metožu stingrību, un apņemas publicēt rezultātus, ja darbs tiek veikts, kā aprakstīts.

Citi saka, ka žurnāls ir daļa no problēmas. Anne Scheel, metazinātniece no Utrehtas universitātes Nīderlandē, saka, ka, lai gan autori pieļāva kļūdas, redaktoriem vajadzēja pamanīt iepriekšējas reģistrācijas trūkumu. Recenzenti ne vienmēr pārbauda iepriekšēju reģistrāciju, un tādiem lielākajiem žurnāliem kā Nature Human Behavior "ir nepieciešami procesi, lai faktiski pārbaudītu iepriekšēju reģistrāciju", viņa saka.

Žurnāla pārstāvis saka, ka tas pēta izmaiņas savā praksē. "Žurnāls pēta veidus, kā uzlabot pārredzamību, standartizāciju un ziņošanas prasības iepriekšējai reģistrācijai sociālajās un uzvedības zinātnēs, kas stiprinās centienus uzraudzīt iepriekšējas reģistrācijas atbilstību," piebilst pārstāvis.

Laika izniekošana visiem

Liela mēroga projektus, kuros vairākas pētniecības grupas veic vienus un tos pašus eksperimentus, ir grūti pārvaldīt, skaidro Olavo Amaral, reproducējamības pētnieks no Riodežaneiro federālās universitātes Brazīlijā. Viņš runā no pieredzes: viņš vada Brazīlijas reproducējamības projektu, mēģinājumu reproducēt desmitiem biomedicīnas pētījumu rezultātus, kas veikti laboratorijās visā valstī. "Mēs vienmēr varam atrast kļūdas," viņš saka.

Viņš saka, ka kritika par atsaukto papīru ir jārisina, taču problēmas nemaina viņa viedokli par darbu. "Rezultāti, šķiet, ir diezgan atkārtojami," viņš saka. "Es nedomāju, ka kritika par iepriekšēju reģistrāciju būtiski maina manu viedokli par laikrakstu."

1. Protzko, J. et al. Daba Hum. Behavior 8, 311–319 (2023).

   Raksts
   PubMed
   
   Google Scholar

2. Protzko, J. et al. Daba Hum. Uzvedība https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Raksts
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Raksts
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Preprint vietnē PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Uzvedība https://doi.org/10.1038/s41562-024-01982-w (2024).

   Raksts
   
   Google Scholar

6. Protzko, L. et al. Priekšdruka plkst https://osf.io/2s94g (2024).

Lejupielādēt atsauces