Περιοδικά με υψηλό ποσοστό ύποπτων άρθρων που επισημαίνονται από νεοφυείς επιχειρήσεις με επιστημονική ακεραιότητα

Περιοδικά με υψηλό ποσοστό ύποπτων άρθρων που επισημαίνονται από νεοφυείς επιχειρήσεις με επιστημονική ακεραιότητα

Ποιοι ακαδημαϊκοί εκδότες και περιοδικά έχουν επηρεαστεί περισσότερο από δόλια ή αμφισβητήσιμη έρευνα — και ποια έχουν κάνει τα λιγότερα για να καθαρίσουν τα χαρτοφυλάκια τους; Μια νεοφυής εταιρεία τεχνολογίας που ιδρύθηκε για να βοηθήσει τους εκδότες να εντοπίσουν δυνητικά προβληματικά άρθρα έχει κάποιες απαντήσεις και μοιράστηκε τα αρχικά της πορίσματα με το Nature.

Ο ιστότοπος ακεραιότητας γνώσης Argos, που κυκλοφόρησε τον Σεπτέμβριο από τη Scitility, μια τεχνολογική εταιρεία με έδρα στο Sparks της Νεβάδα, εκχωρεί αξιολογήσεις κινδύνου σε άρθρα με βάση τις ημερομηνίες δημοσίευσης των συγγραφέων και εάν το άρθρο αναφέρεται σε μεγάλο βαθμό σε έρευνα που έχει ήδη ανακληθεί. Ένα άρθρο που ταξινομείται ως "υψηλού κινδύνου" μπορεί να έχει πολλούς συγγραφείς των οποίων οι άλλες μελέτες ανακλήθηκαν λόγω κακής συμπεριφοράς. Μια υψηλή βαθμολογία δεν αποδεικνύει ότι ένα αντικείμενο είναι χαμηλής ποιότητας, αλλά υποδηλώνει ότι ίσως αξίζει να το ελέγξετε.

Το Argos είναι ένα από τον αυξανόμενο αριθμό εργαλείων ελέγχου της ακεραιότητας της έρευνας που αναζητούν κόκκινες σημαίες σε άρθρα. Αυτά περιλαμβάνουν αυτό Συναγερμός χαρτοποιίας, που αναπτύχθηκε από την Clear Skies και το Signals από την Research Signals, και τα δύο από το Λονδίνο. Επειδή οι προγραμματιστές τέτοιου λογισμικού πωλούν τα εργαλεία ελέγχου χειρογράφων τους σε εκδότες, είναι γενικά προσεκτικοί όσον αφορά την ονομασία των περιοδικών που επηρεάζονται. Ωστόσο, η Argos, η οποία προσφέρει δωρεάν λογαριασμούς σε ιδιώτες και ευρύτερη πρόσβαση σε ελεγκτές ακεραιότητας και δημοσιογράφους, είναι η πρώτη που παρέχει δημόσια πληροφόρηση.

«Θέλαμε να αναπτύξουμε μια τεχνολογία που θα μπορούσε να ανιχνεύει κρυφά μοτίβα και να φέρει διαφάνεια στη βιομηχανία», λέει ο Erik de Boer, συνιδρυτής της Scitility, με έδρα το Roosendaal της Ολλανδίας.

Από τις αρχές Οκτωβρίου, το Argos είχε επισημάνει περισσότερα από 40.000 είδη υψηλού και 180.000 μεσαίου κινδύνου. Έχει επίσης ευρετηριάσει περισσότερα από 50.000 άρθρα που έχουν ανακληθεί.

Εκτίμηση κινδύνου των εκδοτών

Η ανάλυση του Argos δείχνει ότι η Hindawi, μια πλέον ανενεργή θυγατρική του εκδότη Wiley στο Λονδίνο, έχει τον μεγαλύτερο αριθμό και το μεγαλύτερο ποσοστό άρθρων που έχουν ήδη αποσυρθεί (βλ. "Εκδότες σε κίνδυνο"). Αυτό δεν αποτελεί έκπληξη γιατί το έχει κάνει ο Wiley απέσυρε πάνω από 10.000 άρθρα που δημοσιεύθηκαν από τον Hindawi τα τελευταία δύο χρόνια, ως απάντηση στις ανησυχίες που εγείρονται από συντάκτες και κριτικούς· αυτό αντιπροσωπεύει περισσότερο από το 4% του συνολικού χαρτοφυλακίου της μάρκας την τελευταία δεκαετία. Ένα από τα περιοδικά του, το Evidence-based Complementary and Alternative Medicine, έχει ανακαλέσει 741 άρθρα, που αντιπροσωπεύουν περισσότερο από το 7% της παραγωγής του.

Οι αξιολογήσεις κινδύνου του Argos επισημαίνουν περισσότερα από χίλια εναπομείναντα άρθρα Hindawi - άλλο 0,65% - ως εξακολουθούν να είναι «υψηλού κινδύνου». Αυτό υποδηλώνει ότι ενώ η Wiley έχει κάνει πολλά για να καθαρίσει το χαρτοφυλάκιό της, το πρόβλημα μπορεί να μην έχει λυθεί πλήρως ακόμη. Ο εκδότης είπε στο Nature ότι καλωσορίζει το Argos και παρόμοια εργαλεία και εργάζεται για την επίλυση των προβλημάτων με το Hindawi.

Άλλοι εκδότες φαίνεται ότι πρέπει να κάνουν πολύ περισσότερη έρευνα, καθώς ο αριθμός των ανακλήσεων είναι μικρός σε σχέση με τον αριθμό των άρθρων υψηλού κινδύνου που επισημάνθηκαν από το Argos (οι εκδότες μπορεί να έχουν ήδη ερευνήσει ορισμένα από αυτά τα άρθρα και να έχουν αποφασίσει ότι δεν απαιτείται καμία ενέργεια).

Ο εκδότης Elsevier με έδρα το Άμστερνταμ έχει περίπου 5.000 ανακλήσεις αλλά πάνω από 11.400 άρθρα υψηλού κινδύνου, σύμφωνα με την ανάλυση του Nature για το Argos — αν και όλα αυτά μαζί αντιπροσωπεύουν λίγο περισσότερο από το 0,2% της παραγωγής του εκδότη την τελευταία δεκαετία. Ο εκδότης MDPI έχει αποσύρει 311 άρθρα, αλλά έχει περισσότερα από 3.000 άρθρα υψηλού κινδύνου — περίπου το 0,24% της παραγωγής του. Το Springer Nature έχει περισσότερες από 6.000 ανακλήσεις και περισσότερα από 6.000 είδη υψηλού κινδύνου. περίπου το 0,3% της παραγωγής της. (Η ομάδα ειδήσεων του Nature είναι ανεξάρτητη από τον εκδότη της.)

Σε απαντήσεις σε ερωτήματα, όλα τα τμήματα δημοσίευσης που προσδιορίζονται ως οι μεγαλύτεροι πάροχοι άρθρων υψηλού κινδύνου λένε ότι εργάζονται σκληρά για την ακεραιότητα της έρευνας, χρησιμοποιούν τεχνολογία για την εξέταση των υποβληθέντων άρθρων και ότι οι ανακλήσεις τους αποδεικνύουν τη δέσμευσή τους να καθαρίσουν το προβληματικό περιεχόμενο.

Η Springer Nature ανέφερε ότι κυκλοφόρησε δύο εργαλεία τον Ιούνιο που έκτοτε βοήθησαν στον εντοπισμό εκατοντάδων πλαστών υποβολών χειρογράφων. αρκετοί εκδότες ανέβασαν τη συνεργασία τους σε ένα κοινό κέντρο ακεραιότητας που προσφέρει λογισμικό που μπορεί να επισημάνει ύποπτα στοιχεία. Ο Jisuk Kang, υπεύθυνος εκδόσεων στο MDPI στη Βασιλεία της Ελβετίας, λέει ότι προϊόντα όπως το Argos παρέχουν ευρείες ενδείξεις πιθανών προβλημάτων, αλλά σημειώνει ότι ο εκδότης δεν μπορεί να επαληθεύσει την ακρίβεια ή την αξιοπιστία των αριθμών στον ιστότοπο. Προσθέτει ότι οι μεγαλύτεροι εκδότες και περιοδικά θα έχουν αναπόφευκτα μεγαλύτερο αριθμό άρθρων υψηλού κινδύνου, επομένως το μερίδιο παραγωγής είναι καλύτερη μέτρηση.

Οι μάρκες έκδοσης με τα υψηλότερα ποσοστά άρθρων υψηλού κινδύνου στα χαρτοφυλάκιά τους, σύμφωνα με τα στοιχεία του Argos, είναι τα Impact Journals (0,82%), Spandidos (0,77%) και Ivyspring (0,67%). Το Impact Journals λέει στο Nature ότι παρόλο που τα περιοδικά του είχαν προβλήματα στο παρελθόν, τώρα έχουν βελτιώσει την ακεραιότητά τους. Ο εκδότης δηλώνει ότι έχει εμφανιστεί στο περιοδικό Oncotarget τα τελευταία δύο χρόνια “0% παρατυπίες” λόγω της εισαγωγής εργαλείων επαλήθευσης εικόνων όπως το Image Twin, τα οποία έχουν γίνει διαθέσιμα μόνο τα τελευταία χρόνια. Η Portland Press, η οποία έχει 0,41% άρθρα υψηλού κινδύνου στο χαρτοφυλάκιό της, λέει ότι έχει λάβει σωστά μέτρα για να βελτιώσει τις αυστηρές κριτικές.

Εκτιμήσεις κινδύνου περιοδικών

Το Argos προσφέρει και νούμερα για μεμονωμένα περιοδικά. Δεν αποτελεί έκπληξη το γεγονός ότι οι τίτλοι Hindawi ξεχωρίζουν τόσο στον αριθμό όσο και στην αναλογία των άρθρων που ανακαλούνται, ενώ άλλα περιοδικά έχουν πολλές από τις εργασίες που προσδιορίζονται από το Argos ως υψηλού κινδύνου (βλ. «Περιοδικά σε κίνδυνο»). Σε όγκο, το μεγα-περιοδικό Scientific Reports του Springer Nature προηγείται με 450 άρθρα υψηλού κινδύνου και 231 ανακλήσεις, τα οποία μαζί αντιπροσωπεύουν περίπου το 0,3% της παραγωγής του. Στις 16 Οκτωβρίου, μια ομάδα κριτικών έγραψε ένα ανοιχτή επιστολή προς το Springer Nature, το οποίο προκάλεσε ανησυχίες για προβληματικά άρθρα στο περιοδικό.

Σε απάντηση, ο Chris Graf, επικεφαλής του τμήματος ακεραιότητας της έρευνας στο Springer Nature, είπε ότι το περιοδικό διερευνά κάθε ζήτημα που τίθεται. Προσθέτει ότι το ποσοστό του περιεχομένου που επισημαίνεται είναι σχετικά χαμηλό σε σύγκριση με το μέγεθός του.

Περιοδικά με ιδιαίτερα μεγάλες αποκλίσεις μεταξύ του αριθμού των ανακληθεισών άρθρων και των δυνητικά ύποπτων άρθρων περιλαμβάνουν το MDPI's Sustainability Journal (20 ανακλήσεις και 312 άρθρα υψηλού κινδύνου, 0,4% της παραγωγής) και το Elsevier's Materials Today Proceedings (28 ανακλήσεις και 308 άρθρα υψηλού κινδύνου, 8% της παραγωγής; 0). Η Elsevier's Biomedicine & Pharmacotherapy έχει το υψηλότερο ποσοστό ειδών υψηλού κινδύνου — 1,61% της παραγωγής της.

«Ο όγκος των δόλιων υλικών αυξάνεται σημαντικά, υποστηριζόμενος από συστηματικούς χειρισμούς όπως «χαρτομυλάκια» που παράγουν δόλιο περιεχόμενο για εμπορικούς σκοπούς και περιεχόμενο που δημιουργείται από τεχνητή νοημοσύνη», λέει ένας εκπρόσωπος της Elsevier, προσθέτοντας ότι ως απάντηση «αυξάνουμε τις επενδύσεις μας στην ανθρώπινη εποπτεία, την τεχνογνωσία και την τεχνολογία».

Ανοίξτε δεδομένα

Οι προγραμματιστές του Argos τονίζουν ότι ο ιστότοπος βασίζεται σε ανοιχτά δεδομένα που συλλέγονται από άλλους. Οι πηγές περιλαμβάνουν τον ιστότοπο Retraction Watch, ο οποίος διατηρεί μια βάση δεδομένων με άρθρα που έχουν ανακληθεί — δωρεάν μέσω συμφωνίας με τον μη κερδοσκοπικό οργανισμό CrossRef — που περιλαμβάνει τους λόγους ανάκλησης, έτσι ώστε τα εργαλεία που ελέγχουν τα δεδομένα του συγγραφέα να μπορούν να εστιάζουν σε ανακλήσεις που αναφέρουν κακή συμπεριφορά. Η ανάλυση βασίζεται επίσης σε Εγγραφές άρθρων που αναφέρονται σε μεγάλο βαθμό σε ανακληθείσα έργα, τα οποία συντάχθηκαν από τον Guillaume Cabanac, επιστήμονα υπολογιστών στο Πανεπιστήμιο της Τουλούζης στη Γαλλία.

Αν και το Argos παρακολουθεί επίσης αναλυτές που Δίκτυα συγγραφέων με ιστορικό παραπτωμάτων Εστίαση, άλλα εργαλεία ελέγχου ακεραιότητας επισημαίνουν επίσης άρθρα που βασίζονται σε ύποπτο περιεχόμενο, όπως στενές ομοιότητες κειμένου με πλαστά έργα ή "διαταραγμένες φράσεις", όρος που επινοήθηκε από τον Cabanac όταν οι συγγραφείς κάνουν περίεργες επιλογές λέξεων για την αποφυγή ενεργοποίησης συστημάτων ανίχνευσης λογοκλοπής.

«Και οι δύο προσεγγίσεις έχουν αξία, αλλά ο εντοπισμός δικτύων ερευνητών που εμπλέκονται σε ανάρμοστη συμπεριφορά μπορεί να είναι πιο πολύτιμος», λέει ο Τζέιμς Μπάτσερ, πρώην εκδότης του Nature and Lancet που τώρα διευθύνει την εταιρεία συμβούλων Journalology στο Λίβερπουλ του Ηνωμένου Βασιλείου. «Αυτό συμβαίνει επειδή τα εργαλεία γραφής με τη βοήθεια τεχνητής νοημοσύνης θα μπορούσαν να χρησιμοποιηθούν για να βοηθήσουν τους απατεώνες να αποφύγουν προφανείς ενδείξεις κειμένου», προσθέτει. Ο Μπάτσερ προσθέτει ότι πολλοί μεγάλοι εκδότες έχουν αναπτύξει ή αγοράσει τα δικά τους εργαλεία ακεραιότητας για να ελέγχουν για διάφορες κόκκινες σημαίες σε χειρόγραφα.

Ένα από τα πιο δύσκολα προβλήματα για τα εργαλεία ακεραιότητας που βασίζονται κυρίως σε αρχεία ανάκλησης συγγραφέων είναι η σωστή διάκριση μεταξύ συγγραφέων με παρόμοια ονόματα - ένα πρόβλημα που θα μπορούσε να παραμορφώσει τους αριθμούς του Argos. «Το πρόβλημα της διάκρισης των συγγραφέων είναι το μεγαλύτερο πρόβλημα που έχει η βιομηχανία», λέει ο Adam Day, ιδρυτής της Clear Skies.

Ο De Boer, ο οποίος εργάστηκε στο παρελθόν στο Springer Nature, λέει ότι ο καθένας μπορεί να δημιουργήσει έναν λογαριασμό για να χρησιμοποιήσει το Argos δωρεάν, αλλά η Scitility σκοπεύει να πουλήσει μια έκδοση του εργαλείου σε μεγάλους εκδότες και ιδρύματα που θα μπορούσαν να το ενσωματώσουν απευθείας στις ροές εργασίας ελέγχου χειρογράφων.

Ο Μπάτσερ επαινεί τη διαφάνεια της ομάδας του Άργους. «Πρέπει να υπάρχει μεγαλύτερη προβολή για τα περιοδικά και τους εκδότες που κάνουν συντομεύσεις και αποτυγχάνουν να επιδείξουν την κατάλληλη προσοχή στο έργο που δημοσιεύουν και δημιουργούν έσοδα», λέει.