مع تشبّع نماذج الذكاء الاصطناعي للاختبارات القياسية، بات قادة القطاع يجادلون على نحو متزايد بأن الاختبارات نفسها معطوبة. وفي 18 يوليو خلال WAIC، قدّم عدد من المسؤولين التنفيذيين الصينيين في مجال الذكاء الاصطناعي حجةً لصالح التخلي عن لوحات الصدارة الثابتة لصالح قياس ما إذا كانت النماذج تعمل فعلًا في العالم الواقعي.
المشكلة مع المعايير
تتلخص الشكوى في أن معايير مثل MMLU وHumanEval وSWE-bench أصبحت مشبعة، والأسوأ من ذلك أنها تعرّضت للتلوث — إذ تتسرّب أسئلتها إلى بيانات التدريب، فتقيس الدرجات المرتفعة الحفظ بقدر ما تقيس القدرة. وعندما تتكدس كل النماذج الرائدة قرب القمة، تتوقف لوحة الصدارة عن التمييز بينها.
معايير جديدة
طرح مؤسس Baidu Robin Li بديلًا يقوم على الاستخدام بدلًا من الامتحانات: "الوكلاء النشطون يوميًا" بوصفه مقياسًا لما إذا كان الذكاء الاصطناعي يؤدي عملًا حقيقيًا ومستمرًا. وقالت قائدة المنتج Li Jingqiu إن أفضل اختبار هو "مهمة معقدة وتستغرق وقتًا" — ذلك النوع من الأعمال متعددة الخطوات الذي لا يمكن لسؤال واحد على لوحة صدارة أن يلتقطه.
"استخدمه فحسب"
قال Yang Minghui من StepFun الأمر بأوضح صورة: "سباق المعايير ليس جوهر المسألة كله... الاختبار الحقيقي هو مجرد استخدامه." ودفعت Bai Chuanxu من MiniMax بحجة مرتبطة، مؤكدةً التعددية النمطية الأصلية — أي القدرة على التعامل مع النصوص والصور وغيرها في نموذج واحد — باعتبارها قدرة تميل لوحات الصدارة المحسّنة للاستدلال النصي إلى التقليل من شأنها.
المصلحة الذاتية والمضمون
ثمة مصلحة ذاتية مريحة هنا: إعادة صياغة التقييم حول "الاستخدام الحقيقي" تروق للشركات التي تُنشر منتجاتها لكن تتأخر درجاتها في المعايير. ومع ذلك، فإن النقد الأساسي يحظى بقبول واسع في القطاع. ومع تقارب النماذج على الاختبارات المشبعة، يفتقر القطاع فعلًا إلى وسيلة موثوقة لمقارنتها — و"هل يعمل فعلًا" سؤال أصعب وأكثر صدقًا من أي رقم منفرد.