إن ممارسة العلوم الجيدة يمثل تحديًا: سحب دراسة مهمة حول إمكانية تكرار النتائج يحفز التفكير الذاتي

إن ممارسة العلوم الجيدة يمثل تحديًا: سحب دراسة مهمة حول إمكانية تكرار النتائج يحفز التفكير الذاتي

سحب ورقة رفيعة المستوى 1 ، ال طرق تحسين صدق الدراسات العلمية وقد سلط الاختبار الضوء على التحديات التي تواجه مثل هذه الأبحاث "القابلة للتكرار". يشمل مؤلفو الورقة المسحوبة عدة أعلام في هذا المجال.

وفي الدراسة التي نشرت في تشرين الثاني/نوفمبر الماضي في مجلة Nature Human Behavior، وصف المؤلفون ذلك بروتوكول بحث صارم مع ميزات مثل أحجام العينات الكبيرة لضمان صحة التجارب النفسية. طبق المؤلفون بروتوكولهم على العشرات من المشاريع البحثية. وأفادوا أنه في 86% من محاولات التكرار، تم تأكيد النتائج المتوقعة - وهي واحدة من أعلى "معدلات التكرار" المسجلة على الإطلاق في مثل هذه الدراسات. لكن محرري المجلة سحبوا الورقة في 23 سبتمبر، مذكورين في إشعار السحب 2 أنهم "لم يعودوا يثقون في مصداقية النتائج والاستنتاجات".

يتفق المؤلفون مع مخاوف المجلة بشأن نقطة واحدة فقط، والتي يعزونها إلى سهو غير مقصود. وقال أحد المؤلفين، جوناثان سكولر، عالم النفس بجامعة كاليفورنيا في سانتا باربرا، لمجلة Nature إن مجموعة البحث تعمل على نسخة جديدة من المخطوطة لإعادة تقديمها.

ويقول الباحثون الذين يتابعون القضية إنه... مشاكل مبدأ العلم المفتوح: التسجيل المسبق والذي يتضمن ممارسة تحديد تفاصيل الدراسة، بما في ذلك الفرضيات والتحليلات المخططة، كتابيًا قبل إجرائها لمنع التلاعب بالبيانات والإبلاغ الانتقائي عن النتائج.

يقول سام شوارزكوف، عالِم الأعصاب البصرية بجامعة أوكلاند في نيوزيلندا: «يُظهِر هذا أن العلم الجيد أمر صعب، وأصعب بكثير مما يعتقده معظم الناس». "في كثير من الأحيان، يجد الأشخاص الذين يقومون بالتسجيل المسبق أن خططهم المدروسة جيدًا لا تنجح عندما يواجهون الواقع البارد والصعب المتمثل في جمع البيانات."

أربعة فرق و64 محاولة تكرار

تصف الورقة تجربة معقدة وواسعة النطاق: أجرى كل فريق من أربعة فرق بحثية دراسات تجريبية مسجلة في مجالات العلوم الاجتماعية. على سبيل المثال، بحثت إحدى الدراسات فيما إذا كان ضغط الوقت يؤثر على اتخاذ القرار 3. وإذا اكتشفت الدراسة التجريبية أي تأثير، حاول الفريق تأكيد النتائج في عينة مكونة من 1500 شخص على الأقل. حاولت الفرق الأربعة إعادة إنتاج التجارب المختارة لمعرفة ما إذا كانوا سيحققون نفس النتائج. حاول كل فريق تكرار أربع من تجاربه الخاصة وأربعة من كل من الفرق الثلاثة الأخرى.

ومن بين محاولات التكرار البالغ عددها 64، كانت 86% ناجحة - أي أنها أنتجت النتائج المتوقعة وذات الدلالة الإحصائية. وبالمقارنة، تشير دراسات التكرار الأخرى في مجالات العلوم الاجتماعية إلى أن متوسط ​​معدلات التكرار يبلغ 50%.

وعزا مؤلفو الدراسة المسحوبة معدل التكرار المرتفع إلى "الممارسات الصارمة" مثل أحجام العينات الكبيرة، التسجيل المسبق و الشفافية حول الأساليب خلف. وكتب الباحثون أن تبني مثل هذه الممارسات يمكن أن يساعد في جعل الدراسات أكثر موثوقية.

بعد وقت قصير من نشر الورقة، شكك جوزيف باك كولمان، عالم الاجتماع في جامعة كونستانز في ألمانيا، وبيرنا ديفيزر، التي تدرس التسويق في جامعة أيداهو في موسكو، في طبعة أولية. 4 والتي تم تحميلها على خادم PsyArXiv، صلاحيتها. وأشاروا إلى أن المؤلفين لم يسجلوا مسبقًا بعض عناصر الورقة، بما في ذلك السؤال المركزي: هل سيؤدي بروتوكول المؤلفين إلى زيادة إمكانية التكرار؟ بشكل منفصل، أرسل باك كولمان صفحات من التحليل إلى محرري مجلة Nature Human Behavior، الذين أطلقوا تحقيقًا أدى في النهاية إلى التراجع.

في تعليق 5 ، الذي رافق الانسحاب، كتب باك كولمان وديفيزر أن "قابلية التكرار لم تكن النتيجة الأصلية للمشروع ولم يتم تسجيل تحليلات الاستنساخ مسبقًا كما ادعى." وكان إشعار العودة صدى هذه التصريحات. (يتم نشر مجلة Nature Human Behavior بواسطة شركة Springer Nature، التي تنشر أيضًا مجلة Nature. وفريق أخبار Nature مستقل تحريريًا عن ناشرها).

الاعتراف المؤلف

وفي يوم الانسحاب، نشر ستة من مؤلفي مجلة Nature Human Behavior تقريرًا عن آرائهم 6. يعترفون فيه بأن بعض تحليلات الدراسة لم تكن مسجلة مسبقًا. ومع ذلك، فإنهم يصفون البيانات الأخرى الواردة في إشعار السحب بأنها "غير دقيقة"، مثل معرفة المؤلفين بالبيانات في وقت التحليلات على النحو الذي تحدده المجلة. لا توافق المجلة على أن إشعار الانسحاب يحتوي على معلومات غير دقيقة.

يقول بريان نوسيك، المدير التنفيذي لمركز العلوم المفتوحة في شارلوتسفيل، فيرجينيا، والمؤلف المشارك للدراسة المسحوبة، إنه كان من المفاجئ معرفة أن خطأ التسجيل المسبق قد تم إلقاءه خلال عمليات إدارة المشروع. ويقول: "لا أعرف كم مرة قرأت تلك الورقة التي تحتوي على هذه البيانات الخاطئة حول كل ما تم تسجيله مسبقًا وغفلت عنه. لقد كان مجرد خطأ".

يقول نوسيك، الذي يعتبر رائدًا في التسجيل المسبق، إن الهدف الأصلي للمشروع كان التكاثر، وهو ما يتناقض مع باك كولمان وديفيزر.

تحديات التسجيل المسبق

توضح القصة عيوب التسجيل المسبق، كما يقول يوئيل إنبار، عالم النفس بجامعة تورنتو في كندا. يقول: "لقد رأيت العديد من عمليات التسجيل المسبق التي كانت غامضة، ولم يتم اتباعها بشكل صارم، أو حيث كانت الورقة النهائية عبارة عن مزيج من التحليل المسجل مسبقًا وغير المسجل مسبقًا".

إنبار مقتنع بشكل متزايد بأن الخيار الأفضل هو تنسيق التسجيل المسبق التقارير المسجلة هو المكان الذي يقدم فيه الباحثون بروتوكول دراستهم، بما في ذلك مبرراته وطرقه، إلى مجلة للمراجعة قبل جمع البيانات. يقرر المحررون قبول الدراسة بناءً على أهمية سؤال البحث وصرامة الأساليب والالتزام بنشر النتائج إذا تم تنفيذ العمل على النحو الموصوف.

ويقول آخرون أن المجلة جزء من المشكلة. تقول آن شيل، عالمة ما وراء العلوم بجامعة أوتريخت في هولندا، إنه على الرغم من ارتكاب المؤلفين لأخطاء، إلا أنه كان ينبغي للمحررين أن يلاحظوا عدم وجود تسجيل مسبق. وتقول إن المراجعين لا يتحققون دائمًا من التسجيل المسبق، والمجلات الكبرى مثل Nature Human Behavior "تحتاج إلى عمليات للتحقق فعليًا من التسجيل المسبق".

ويقول متحدث باسم المجلة إنها تستكشف التغييرات في ممارساتها. ويضيف المتحدث: "تستكشف المجلة طرقًا لتحسين الشفافية والتوحيد القياسي ومتطلبات الإبلاغ للتسجيل المسبق في العلوم الاجتماعية والسلوكية، مما سيعزز الجهود المبذولة لمراقبة الامتثال للتسجيل المسبق".

مضيعة للوقت للجميع

يوضح أولافو أمارال، الباحث في مجال الاستنساخ في الجامعة الفيدرالية دو ريو دي جانيرو في البرازيل، أنه من الصعب إدارة المشاريع واسعة النطاق، التي تجري فيها مجموعات بحثية متعددة نفس التجارب. يتحدث من منطلق خبرته: فهو يقود مشروع الاستنساخ البرازيلي، وهو محاولة لإعادة إنتاج نتائج العشرات من الدراسات الطبية الحيوية التي أجريت في المختبرات في جميع أنحاء البلاد. يقول: "يمكننا دائمًا العثور على الأخطاء".

ويقول إن الانتقادات الموجهة إلى الورقة المسحوبة تحتاج إلى معالجة، لكن المشاكل لا تغير رأيه في العمل. يقول: "يبدو أن النتائج قابلة للتكرار إلى حد ما". "لا أعتقد أن انتقاد التسجيل المسبق يغير رأيي في الصحيفة كثيرًا."

1. بروتسكو، J. وآخرون. همهمة الطبيعة. السلوك 8، 311-319 (2023).

   شرط
   مجلات
   
   جوجل الباحث العلمي

2. بروتسكو، J. وآخرون. همهمة الطبيعة. السلوك https://doi.org/10.1038/s41562-024-01997-3 (2024).

   شرط
   
   جوجل الباحث العلمي

3. بروتزكو، جيه، زيديليوس، سي إم وسكولر، جيه دبليو سيكولر. الخيال العلمي. 30، 1584–1591 (2019).

   شرط
   مجلات
   
   جوجل الباحث العلمي

4. باك كولمان، J. & Devezer، B. Preprint في PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. باك كولمان، جيه. وديفيزر، بي. نيتشر هوم. السلوك https://doi.org/10.1038/s41562-024-01982-w (2024).

   شرط
   
   جوجل الباحث العلمي

6. بروتسكو، L. وآخرون. الطباعة المسبقة في https://osf.io/2s94g (2024).

تحميل المراجع