تُدقّق ورقة قُدِّمت إلى arXiv في 20 August ادعاءات التحسّن الذاتي عبر القيام بما تغفله هذه الادعاءات عادةً: تشغيل ضابط. وضع المؤلفون ثلاث جولات من التدريب الذاتي بـ rank-32 LoRA على Qwen3-8B في مواجهة نموذج مجمَّد أُمرِّر عبر خط الأنابيب نفسه تمامًا، وحددوا سبعة إخفاقات في القياس، يقلب كلٌّ منها نتيجةً مُبلَّغًا عنها عندما يغيب الضابط. ويشير المؤلفون إلى أن عدةً منها تُعد ممارسةً معيارية.
الرقم المحوري
يُقاس التحسّن الذاتي على نحو متزايد لا بمتوسط الدقة، بل بالمسائل الفردية التي يكسبها النموذج أو يخسرها — وهو إطار يتطلب طرح تقديرين مشوبين بالضجيج أحدهما من الآخر. أما سجلّ مبني على فك ترميز جشع واحد يصطنع تغيّرات في القدرة على نموذج لم يُدرَّب قط، ويرجع ذلك إلى حدّ كبير إلى أثر تجميع الاستدلال. وإحصائية التوسّع المستخدمة للفصل بين الاكتساب الحقيقي وبين مجرد الصقل تمنح ذلك النموذج غير المدرَّب نفسه معدلًا قدره 0.280. ويُظهر المقياس تحسنًا ذاتيًا كبيرًا في نظام لم يحدث فيه، بحكم البناء، أي تحسن من هذا النوع.
ما الذي يخطئ فيه الإطار الشائع
تُعرض النتائج في هذا الأدب على أنها مقارنات قبل وبعد على النموذج نفسه، بما يبدو وكأنه ضابطه الخاص. لكنه ليس كذلك. فبين القياسين تقع ضوضاء العينة، وعدم الحتمية في فك الترميز، وتأثيرات التجميع، وجميعها تنتج انتقالات على مستوى المسألة من دون أي تدريب. والإصلاح الواضح — رفع العتبة بما يكفي لاستبعاد الضجيج — لا يصمد أمام إعادة الاختبار: فعند تقديره عبر المقارنات المجمَّدة التي يتضمنها التصميم أصلًا، يبقى العدم غير صفري. ويستبدله المؤلفون باختبار دقيق لكل مسألة مقابل خط أساس مجمّع تحت ضبط معدل الاكتشاف الكاذب.
النطاق، بصراحة
هذا نموذج واحد من عائلة نماذج واحدة وعلى مقياس واحد وبطريقة مواءمة واحدة. ولا يثبت أن التحسّن الذاتي وهم. لكنه يُظهر أن الأدوات المستخدمة عادةً لاكتشافه تسجل إشارة قوية على نظام لا يمكن أن يكون قد أنتج واحدة — ما يعني أن أحجام الأثر المنشورة لا يمكن الوثوق بأنها أكبر من حدّ القياس، لأن هذا الحد لم يُقَس أصلًا.