Το να κάνεις καλή επιστήμη είναι πρόκληση: Η απόσυρση μιας σημαντικής μελέτης αναπαραγωγιμότητας διεγείρει τον αυτοστοχασμό

Το να κάνεις καλή επιστήμη είναι πρόκληση: Η απόσυρση μιας σημαντικής μελέτης αναπαραγωγιμότητας διεγείρει τον αυτοστοχασμό

Η απόσυρση ενός χαρτιού υψηλού προφίλ 1, το Μέθοδοι για τη βελτίωση της εγκυρότητας των επιστημονικών μελετών Το tested έχει επισημάνει τις προκλήσεις μιας τέτοιας έρευνας «αναπαραγωγιμότητας». Οι συγγραφείς της ανακληθείσας εργασίας περιλαμβάνουν αρκετούς Φωτιστικά σε αυτόν τον τομέα.

Στη μελέτη που δημοσιεύτηκε τον περασμένο Νοέμβριο στο Nature Human Behavior, περιέγραψαν οι συγγραφείς ένα αυστηρό ερευνητικό πρωτόκολλο με χαρακτηριστικά όπως μεγάλα μεγέθη δειγμάτων για τη διασφάλιση της εγκυρότητας των ψυχολογικών πειραμάτων. Οι συγγραφείς εφάρμοσαν το πρωτόκολλό τους σε δεκάδες ερευνητικά έργα. Ανέφεραν ότι στο 86% των προσπαθειών αναπαραγωγής, τα αναμενόμενα αποτελέσματα επιβεβαιώθηκαν - ένα από τα υψηλότερα «ποσοστά αναπαραγωγής» που έχουν καταγραφεί ποτέ σε τέτοιες μελέτες. Αλλά οι συντάκτες του περιοδικού απέσυραν την εφημερίδα στις 23 Σεπτεμβρίου, αναφέροντας στην ανακοίνωση ανάκλησης 2, ότι «δεν έχουν πλέον εμπιστοσύνη στην αξιοπιστία των αποτελεσμάτων και των συμπερασμάτων».

Οι συγγραφείς συμφωνούν με τις ανησυχίες του περιοδικού μόνο σε ένα σημείο, το οποίο αποδίδουν σε μια ακούσια παράβλεψη. Ένας από τους συγγραφείς, ο Jonathan Schooler, ψυχολόγος στο Πανεπιστήμιο της Καλιφόρνια στη Σάντα Μπάρμπαρα, είπε στο Nature ότι η ερευνητική ομάδα εργάζεται σε μια νέα έκδοση του χειρογράφου για εκ νέου υποβολή.

Οι ερευνητές που παρακολουθούν την υπόθεση λένε ότι... Προβλήματα μιας αρχής ανοιχτής επιστήμης: προεγγραφή που περιλαμβάνει την πρακτική της γραπτής παρουσίασης των λεπτομερειών μιας μελέτης, συμπεριλαμβανομένων των υποθέσεων και των προγραμματισμένων αναλύσεων, πριν από τη διεξαγωγή της, ώστε να αποφευχθεί η παραποίηση δεδομένων και η επιλεκτική αναφορά των αποτελεσμάτων.

«Αυτό δείχνει ότι η καλή επιστήμη είναι δύσκολη, πολύ πιο δύσκολη από όσο νομίζουν οι περισσότεροι», λέει ο Sam Schwarzkopf, οπτικός νευροεπιστήμονας στο Πανεπιστήμιο του Auckland στη Νέα Ζηλανδία. «Συχνά, οι άνθρωποι που προεγγραφούν διαπιστώνουν ότι τα καλά μελετημένα σχέδιά τους δεν υλοποιούνται όταν έρχονται αντιμέτωποι με την ψυχρή, σκληρή πραγματικότητα της συλλογής δεδομένων».

Τέσσερις ομάδες και 64 προσπάθειες αναπαραγωγής

Η εργασία περιγράφει ένα περίπλοκο και εκτεταμένο πείραμα: τέσσερις ερευνητικές ομάδες η καθεμία διεξήγαγε εγγεγραμμένες πιλοτικές μελέτες στους τομείς των κοινωνικών επιστημών. Για παράδειγμα, μια από τις μελέτες εξέτασε εάν η πίεση του χρόνου επηρεάζει τη λήψη αποφάσεων 3. Εάν η πιλοτική μελέτη ανακάλυψε κάποιο αποτέλεσμα, η ομάδα προσπάθησε να επιβεβαιώσει τα αποτελέσματα σε ένα δείγμα τουλάχιστον 1.500 ατόμων. Και οι τέσσερις ομάδες προσπάθησαν να αναπαράγουν τα επιλεγμένα πειράματα για να δουν αν θα πετύχουν τα ίδια αποτελέσματα. Κάθε ομάδα προσπάθησε να επαναλάβει τέσσερα από τα δικά της πειράματα και τέσσερα από κάθε μία από τις τρεις άλλες ομάδες.

Από τις 64 προσπάθειες αναπαραγωγής, το 86% ήταν επιτυχείς – δηλαδή, παρήγαγαν τα αναμενόμενα και στατιστικά σημαντικά αποτελέσματα. Συγκριτικά, άλλες μελέτες αναπαραγωγής στους τομείς των κοινωνικών επιστημών αναφέρουν μέσους ρυθμούς αναπαραγωγής 50%.

Οι συγγραφείς της ανακληθείσας μελέτης απέδωσαν το υψηλό ποσοστό αναπαραγωγής της σε «αυστηρές πρακτικές», όπως τα μεγάλα μεγέθη δειγμάτων, Προεγγραφή και Διαφάνεια σχετικά με τις μεθόδους πίσω. Η υιοθέτηση τέτοιων πρακτικών θα μπορούσε να βοηθήσει να γίνουν οι μελέτες πιο αξιόπιστες, έγραψαν οι συγγραφείς.

Λίγο μετά τη δημοσίευση της εργασίας, ο Joseph Bak-Coleman, κοινωνικός επιστήμονας στο Πανεπιστήμιο της Konstanz στη Γερμανία, και η Berna Devezer, που σπουδάζει μάρκετινγκ στο Πανεπιστήμιο του Idaho στη Μόσχα, το αμφισβήτησαν σε μια προέκδοση. 4, το οποίο ανέβηκε στον διακομιστή PsyArXiv, η εγκυρότητά του. Σημείωσαν ότι οι συγγραφείς δεν είχαν προκαταχωρίσει ορισμένα στοιχεία της εργασίας, συμπεριλαμβανομένου του κεντρικού ερωτήματος: Θα αύξανε το πρωτόκολλο των συγγραφέων την αναπαραγωγιμότητα; Ξεχωριστά, ο Bak-Coleman έστειλε σελίδες ανάλυσης στους συντάκτες του Nature Human Behavior, οι οποίοι ξεκίνησαν μια έρευνα που τελικά οδήγησε στην ανάκληση.

Σε ένα σχόλιο 5, που συνόδευε την απόσυρση, οι Bak-Coleman και Devezer έγραψαν ότι «η αναπαραγωγιμότητα δεν ήταν το αρχικό αποτέλεσμα του έργου και οι αναλύσεις της αναπαραγωγιμότητας δεν είχαν προκαταχωριστεί όπως ισχυρίστηκε». Η ειδοποίηση επιστροφής Echo είχε αυτές τις δηλώσεις. (Το Nature Human Behavior δημοσιεύεται από την Springer Nature, η οποία εκδίδει επίσης το Nature. Η ειδησεογραφική ομάδα του Nature είναι συντακτική ανεξάρτητη από τον εκδότη της.)

Συγγραφική αναγνώριση

Την ημέρα της απόσυρσης, έξι από τους συγγραφείς του Nature Human Behavior δημοσίευσαν μια αναφορά των απόψεών τους 6. Σε αυτό παραδέχονται ότι ορισμένες από τις αναλύσεις της μελέτης δεν ήταν προκαταχωρισμένες. Ωστόσο, αποκαλούν άλλες δηλώσεις στην ειδοποίηση ανάκλησης "ανακριβείς", όπως η γνώση των δεδομένων από τους συγγραφείς τη στιγμή των αναλύσεων, όπως προσδιορίζεται από το περιοδικό. Η Εφημερίδα διαφωνεί ότι η ειδοποίηση απόσυρσης περιέχει ανακρίβειες.

Ο Μπράιαν Νόσεκ, εκτελεστικός διευθυντής του Κέντρου Ανοιχτής Επιστήμης στο Σάρλοτσβιλ της Βιρτζίνια και συν-συγγραφέας της ανακληθείσας μελέτης, λέει ότι ήταν συγκλονιστικό να μάθαμε ότι το σφάλμα προεγγραφής προήλθε από τις διαδικασίες διαχείρισης του έργου τους. "Δεν ξέρω πόσες φορές έχω διαβάσει αυτό το χαρτί με αυτές τις λανθασμένες δηλώσεις για οτιδήποτε είναι προκαταχωρισμένο και το έχασα. Ήταν απλώς ένα λάθος", λέει.

Ο Nosek, που θεωρείται πρωτοπόρος στην προεγγραφή, λέει επίσης ότι ο αρχικός στόχος του έργου ήταν η αναπαραγωγιμότητα, έρχεται σε αντίθεση με τους Bak-Coleman και Devezer.

Προκλήσεις της προεγγραφής

Το έπος δείχνει τα ελαττώματα της προεγγραφής, λέει ο Yoel Inbar, ψυχολόγος στο Πανεπιστήμιο του Τορόντο στον Καναδά. «Έχω δει πολλές προεγγραφές που ήταν ασαφείς, δεν τηρήθηκαν αυστηρά ή όπου η τελική εργασία ήταν ένας συνδυασμός προκαταχωρισμένης και μη προκαταχωρισμένης ανάλυσης», λέει.

Το Inbar είναι όλο και πιο πεπεισμένο ότι η καλύτερη επιλογή είναι η μορφή προεγγραφής καταχωρημένες αναφορές είναι όπου οι ερευνητές υποβάλλουν το πρωτόκολλο μελέτης τους, συμπεριλαμβανομένου του σκεπτικού και των μεθόδων του, σε ένα περιοδικό για ανασκόπηση πριν από τη συλλογή δεδομένων. Οι συντάκτες αποφασίζουν εάν θα αποδεχτούν τη μελέτη με βάση τη σημασία του ερευνητικού ερωτήματος και την αυστηρότητα των μεθόδων και δεσμεύονται να δημοσιεύσουν τα αποτελέσματα εάν η εργασία εκτελεστεί όπως περιγράφεται.

Άλλοι λένε ότι το περιοδικό είναι μέρος του προβλήματος. Η Anne Scheel, μεταεπιστήμονας στο Πανεπιστήμιο της Ουτρέχτης στην Ολλανδία, λέει ότι παρόλο που οι συγγραφείς έκαναν λάθη, οι συντάκτες θα έπρεπε να είχαν παρατηρήσει την έλλειψη προεγγραφής. Οι κριτικοί δεν ελέγχουν πάντα την προεγγραφή και μεγάλα περιοδικά όπως το Nature Human Behavior «χρειάζονται διαδικασίες για να ελέγξουν πραγματικά την προεγγραφή», λέει.

Εκπρόσωπος της Εφημερίδας λέει ότι διερευνά αλλαγές στις πρακτικές της. «Το περιοδικό διερευνά τρόπους βελτίωσης της διαφάνειας, της τυποποίησης και των απαιτήσεων αναφοράς για την προεγγραφή στις κοινωνικές και συμπεριφορικές επιστήμες, οι οποίες θα ενισχύσουν τις προσπάθειες παρακολούθησης της συμμόρφωσης με την προεγγραφή», προσθέτει ο εκπρόσωπος.

Χάσιμο χρόνου για όλους

Τα έργα μεγάλης κλίμακας στα οποία πολλές ερευνητικές ομάδες διεξάγουν τα ίδια πειράματα είναι δύσκολο να διαχειριστούν, εξηγεί ο Olavo Amaral, ερευνητής αναπαραγωγιμότητας στο Universidade Federal do Rio de Janeiro στη Βραζιλία. Μιλάει εκ πείρας: ηγείται του Brazilian Reproducibility Project, μιας προσπάθειας αναπαραγωγής των αποτελεσμάτων δεκάδων βιοϊατρικών μελετών που πραγματοποιήθηκαν σε εργαστήρια σε όλη τη χώρα. «Μπορούμε πάντα να βρίσκουμε λάθη», λέει.

Λέει ότι η κριτική για το έγγραφο που ανακαλείται πρέπει να αντιμετωπιστεί, αλλά τα προβλήματα δεν αλλάζουν τη γνώμη του για το έργο. «Τα αποτελέσματα φαίνεται να είναι αρκετά αναπαραγόμενα», λέει. «Δεν νομίζω ότι η κριτική για την προεγγραφή αλλάζει πολύ τη γνώμη μου για το έντυπο».

1. Protzko, J. et al. Nature Hum. Behavior 8, 311–319 (2023).

   Αρθρο
   PubMed
   
   Google Scholar

2. Protzko, J. et al. Nature Hum. Συμπεριφορά https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Αρθρο
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Αρθρο
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Preprint στο PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Συμπεριφορά https://doi.org/10.1038/s41562-024-01982-w (2024).

   Αρθρο
   
   Google Scholar

6. Protzko, L. et al. Προεκτύπωση στο https://osf.io/2s94g (2024).

Λήψη παραπομπών