يجد اختبار معياري جديد أن الذكاء الاصطناعي الذي يقرأ الأشعة السينية قد يكون واثقًا بشكل خطير عندما يخطئ

تتحسن نماذج الذكاء الاصطناعي في قراءة الصور الطبية — لكنها تزداد سوءًا بشكل خطير في معرفة متى تكون مخطئة. ويكشف اختبار معياري جديد نُشر في 19 يوليو، RadLE 2.0، أو "Radiology's Last Exam," أن النماذج المتقدمة تميل إلى تشخيص الأشعة السينية خطأً بثقة بدلاً من الإحالة، وهي حالة إخفاق تكتسب في الطب أهمية أكبر من الدقة الخام نفسها.

كيف يعمل الاختبار

طوّر CRASH Lab في Ashoka University بالهند RadLE 2.0، وقيّم 16 نموذجًا متقدمًا — من بينها Claude Fable 5 وGemini 3 Pro من Google وMuse Spark 1.1 من Meta وGrok 4.5 — على 200 حالة أشعة سينية. والأهم أنه يستخدم نظام تقييم موزونًا بالثقة يكافئ عدم اليقين الصادق ويعاقب الإجابات الخاطئة الواثقة، بدلاً من الاكتفاء بعدّ التخمينات الصحيحة.

الفجوة مع البشر

وبحسب هذا التقييم، سجل اختصاصيو الأشعة البشريون 988.7 من أصل 2,000، متقدمين بفارق كبير على أفضل نموذج ذكاء اصطناعي الذي سجل 758. ولافت أن Gemini 3 Pro اقترب تقريبًا من البشر من حيث الدقة الخام وحدها — ما يعني أن ضعف النماذج لا يقتصر على ما تخطئ فيه، بل يمتد إلى سلوكها عندما تكون غير واثقة.

مشكلة الإفراط في الثقة

هذه هي الرسالة التحذيرية الأساسية في التقرير. فقد قدّمت العديد من النماذج تشخيصات خاطئة شديدة الثقة، ويشير المؤلفون إلى أنها "كانت ستحصل على درجات أفضل بكثير لو أنها التزمت الصمت أكثر بدلًا من التخمين." والنموذج الذي لا يعرف متى يحيل الحالة إلى إنسان يشكل خطرًا سريريًا محددًا، لأن قراءة خاطئة واثقة قد تكون أشد ضررًا من قول "لست متأكدًا" بصراحة.

لماذا يهم نظام التقييم

معظم الاختبارات المعيارية تكافئ الإجابة الصحيحة وتتجاهل طريقة الوصول إليها. لكن عبر معاقبة الأخطاء الواثقة، يقيس RadLE 2.0 ما يقترب أكثر مما يتطلبه النشر السريري الآمن فعليًا — أي عدم اليقين المضبوط — وتشير نتائجه إلى أن النماذج الحالية لم تبلغ هذه المرحلة بعد، حتى في الحالات التي تبدو فيها دقتها الخام قريبة من دقة البشر.