يكاد يكون من المستحيل معرفة ما إذا كان تقرير مراجعة النظراء قد تم إنشاؤه بواسطة الذكاء الاصطناعي، وفقًا لدراسة وضعت أدوات الكشف عن الذكاء الاصطناعي تحت الاختبار.

استخدم فريق بحث مقره الصين نموذج كلود 2.0 للغة الكبيرة (LLM)، الذي أنشأته شركة Anthropic، وهي شركة للذكاء الاصطناعي في سان فرانسيسكو، كاليفورنيا، لإنشاء تقارير مراجعة النظراء وأنواع أخرى من الوثائق لـ 20 ورقة بحثية منشورة في بيولوجيا السرطان من المجلة. eLife¹. ناشر المجلة يجعل الأوراق متاحة مجانًا عبر الإنترنت باعتبارها “مطبوعات أولية تمت مراجعتها”وينشرها مع تقارير تحكيمهم والمخطوطات الأصلية غير المحررة.

قام المؤلفون بتزويد كلود بالنسخ الأصلية وطلبوا منه إنشاء تقارير مرجعية. ثم قام الفريق بمقارنة التقارير التي أنشأها الذكاء الاصطناعي مع التقارير الحقيقية التي نشرها eLife.

يقول لينجكسوان تشو، عالم الأورام في جامعة الطب الجنوبية في ليانيونجانج بالصين، والمؤلف المشارك للدراسة، إن المراجعات المكتوبة بواسطة الذكاء الاصطناعي “تبدو احترافية، لكن لم يكن لها أي تعليقات محددة وعميقة”. “وهذا جعلنا ندرك أن هناك مشكلة خطيرة.”

وجدت الدراسة أن كلود يمكنه كتابة طلبات اقتباس معقولة (مقترحة أوراقًا يمكن للمؤلفين إضافتها إلى قوائم مراجعهم) وتوصيات رفض مقنعة (يتم تقديمها عندما يعتقد المراجعون أن المجلة يجب أن ترفض ورقة بحثية مقدمة). ويقول تشو إن القدرة الأخيرة تزيد من خطر رفض المجلات للأوراق البحثية الجيدة. “لا يمكن للمحرر أن يكون خبيرًا في كل شيء. إذا حصل على مراجعة سلبية مقنعة جدًا مكتوبة بواسطة الذكاء الاصطناعي، فيمكن أن يؤثر ذلك بسهولة على قراره”.

ووجدت الدراسة أيضًا أن غالبية تقارير الذكاء الاصطناعي خدعت أدوات الكشف: فقد صنفت ZeroGPT بشكل خاطئ 60% منها على أنها مكتوبة بواسطة إنسان، وخلصت GPTzero إلى ذلك لأكثر من 80%.

آراء مختلفة

التحدي المتزايد الذي تواجهه المجلات هو حقيقة أنه يمكن استخدام LLMs بعدة طرق لإنتاج تقرير محكم. ما يعتبر استخدامًا “مقبولًا” للذكاء الاصطناعي يختلف أيضًا اعتمادًا على من تسأل. في دراسة استقصائية أجريت على حوالي 5000 باحث طبيعة في وقت سابق من هذا العام، قال 66% من المشاركين أنه ليس من المناسب استخدام الذكاء الاصطناعي التوليدي لإنشاء تقارير المراجعين من البداية. لكن 57% قالوا إنه من المقبول استخدامه للمساعدة في مراجعة النظراء من خلال جعله يجيب على الأسئلة المتعلقة بالأوراق البحثية.

وعلى الرغم من تحسن أدوات الكشف عن الذكاء الاصطناعي، إلا أنها تكافح من أجل تحديد مقدار المستند الذي تم إنشاؤه باستخدام الذكاء الاصطناعي. تحليل نشر العام الماضي من تقارير الحكام التي تم تقديمها إلى أربعة مؤتمرات لعلوم الكمبيوتر قدرت أن 17% منها قد تم تعديلها بشكل كبير بواسطة برامج الدردشة الآلية². ومع ذلك، ليس من الواضح ما إذا كان الحكام استخدموا الذكاء الاصطناعي لتحسين التقارير أم لكتابتها بالكامل.

مؤشر الطبيعة 2025 لقادة الأبحاث

يقول جيروين فيرهارين، عالم الأعصاب في شركة iota Biosciences في ألاميدا، كاليفورنيا، إنه مندهش من أن أجهزة كشف الذكاء الاصطناعي التي استخدمها تشو وفريقه لم تكن أفضل في اكتشاف تقارير الحكام المكتوبة بواسطة الذكاء الاصطناعي.

لكنه يضيف أنه من غير المرجح أن تصبح التقارير المكتوبة بواسطة الذكاء الاصطناعي والمواد المرتبطة بها مشكلة واسعة النطاق. ويقول إنه إذا لم يرغب المراجعون في المراجعة، “فسيقولون لا”.

وعلى العكس من ذلك، يرى ميكوواج بينيفسكي، عالم الهيدرولوجيا في جامعة وارسو لعلوم الحياة، أن هذه قضية متنامية. ويقول إنه تلقى بالفعل تقارير الحكام التي يشتبه في أنها كتبها بواسطة الذكاء الاصطناعي.

ويقول: “يتم استخدام شهادات الماجستير في القانون بشكل متزايد من قبل المراجعين النظراء، على الرغم من أنه نادرًا ما يتم الكشف عن ذلك”. “عندما تحدثت مع زملائي في مجال الهيدرولوجيا، أصبح من الواضح أن كل واحد منا قد واجه حالة واحدة على الأقل كمؤلف في العامين الماضيين. بدا واحد على الأقل من تقارير المراجعة التي تلقيناها مشبوهًا للغاية، وقد أشارت أدوات الكشف عن الذكاء الاصطناعي التي استخدمناها إلى أنها من المحتمل أن تكون ناتجة عن ماجستير في القانون”.

ويضيف بينيفسكي أنه متأكد من أن بعض محرري الدوريات يقبلون تقارير التحكيم الصادرة عن الذكاء الاصطناعي، عن غير قصد أو غير ذلك. يقترح أن أ النقص العالمي في مراجعي النظراء يمكن أن يتسبب في أن يكون بعض المحررين أكثر تساهلاً مما ينبغي. يقول: “أخشى أن الدافع وراء ذلك إلى حد كبير هو الراحة”.