Nature Medicine نشرت وثيقتين صباح 3 سبتمبر، سُجِّلتا بفاصل ثوانٍ: Matters Arising محكَّمة تتحدى ورقة يونيو 2026 التي زعمت أن نماذج LLMs العامة المتقدمة تتفوق على أدوات الذكاء الاصطناعي السريرية المتخصصة، وReply من المؤلفين الأصليين. وأصدرتهما المجلة بوصفهما زوجًا متعمدًا.
ما الذي تقوله المراجعة النقدية
تقول إن المعايير التي أنتجت أكبر آثار في الدراسة تعاني من التباس يعترف به المؤلفون أنفسهم، وإن التقييم المتبقي محدود النطاق، ويبالغ في دقته، ويعتمد على إعدادات استدلال لم تُوصف أو تُضبط على نحو كافٍ. وتتضمن المراجعة شكلاً يبيّن محتوى معيار MedQA القابل للاسترجاع من نموذج متقدم — أي حفظ مجموعة الاختبار، وقد أُثبت ذلك بدلًا من ادعائه.
ما الذي يقرّ به المؤلفون
يوافق الـ Reply على أن احتمال تلوث MedQA وانجذاب مُقيِّم HealthBench قد يحدان من قابلية التعميم — ويُقصد بانجذاب المُقيِّم ميل حكم LLM إلى تفضيل مخرجات من عائلة نموذجه نفسها — ويذكر أن الورقة تتعامل مع هذين المعيارين بوصفهما ثانويين. ويؤكد المؤلفون النتيجة الأساسية ضمن ظروف دراستهم والنشر العملي. وترتكز تلك النتيجة الأساسية على معيار الاستفسارات السريرية الحقيقية: 100 استفسارًا من أطباء جرى إخفاء هويتهم، تمت مراجعتها بصورة معمية بواسطة 12 طبيبًا إكلينيكيًا في الولايات المتحدة.
ما الذي يخطئ فيه الإطار الشائع
تداولت نتيجة يونيو باعتبارها "ChatGPT يتفوق على أدوات الأطباء المرجعية" — أي ترتيبًا عامًا للقدرات. لكنها لم تكن كذلك قط، وبعد 3 سبتمبر أصبحت أضيق أكثر: إذ أُقر بأن اثنين من الأذرع الثلاثة متلوثان أو يميلان لصالح النموذج نفسه، فيما الذراع الباقي لا يتجاوز 100 استفسار في مؤسسة واحدة. وهذه التصحيح الثاني مهم لطريقة تغطية الخبر: Matters Arising ليست تصحيحًا، ولا سحبًا، ولا تعبيرًا عن قلق. الورقة الأصلية ما تزال قائمة. الذي تغير هو النطاق الذي ينسبه مؤلفوها الآن إليها، في النص المنشور.
لماذا تقع هذه القضية في هذا الموضع
هذه هي الورقة التي يُستشهد بها في حجج شراء المستشفيات ضد دفع اشتراكات الذكاء الاصطناعي السريري المتخصص. ويبيّن هذا التبادل، في المجلة المرجعية، مقدار الوزن الذي يمكن أن تحمله تلك الحجة — كما يضع تلوث المعايير وتسرّب تفضيل LLM-as-judge في صميم قرارات الشراء الطبية بدل تركهما بوصفهما مجرد مسائل في منهجية تعلّم الآلة.