يذكر بحث نُشر في 3 سبتمبر دراستان مسجلتان مسبقًا عن أحكام LLM ذات الصندوق الأسود لم تصلا قط إلى أسئلتهما البحثية. فقد فشلت اختبارات الموثوقية التي حدّدها المؤلفون مسبقًا، ويعرض البحث هذا الفشل عبر 52,988 محاولة طلب مُدقَّقة.
البوابتان اللتان فشلتا
اتفاق التصنيفات المعاد داخل النافذة الزمنية نفسها بلغ Spearman 0.400 مقابل متطلب 0.90. أما عمليات الإعادة المطابقة بتطابق بايتات كامل والمنفذة في اليوم التالي فبلغ اتفاقها 0.78 مقابل متطلب 0.99. وهذه ليست عتبات وُضعت بعد حدوث النتائج لإثبات نقطة ما — بل جرى تسجيلها مسبقًا قبل جمع البيانات، وهو ما يمنح النتيجة السلبية قوتها.
ليست مشكلة مزوّد واحد
عند تبديل المزوّدين، "يشترك أربعة مزوّدين في الحد الأدنى، مع وساطات 0.74 إلى 0.88." ولم يفد الانتظار وحده — 0.805 مقابل 0.800، مع إعادة ذلك على مدى خمسة أيام إضافية. أما الاستضافة الذاتية على نوى غير متأثرة بحجم الدُفعات، وهي التخفيف المعروف لعدم الحتمية في الاستدلال، فقد "ساعدت فقط بينما كان الخادم هادئًا"، وهو ما يشير إلى الآلية: سلوك التجميع تحت الحمل في طبقة الخدمة.
الاختبار الرخيص الذي يوصي به المؤلفون
يشير البحث إلى أن تجربة أولية بحجم يقارب 2% من حجم مكالمات الدراسة كانت كفيلة بكشف كلتا البوابتين غير القابلتين للتحقق مسبقًا. كما يقدّم سلمًا من ثلاث مستويات لتماثل اللقطات، وثماني قواعد تصميم، وقائمة تدقيق للتقرير بوصفها الناتج العملي.
ما يخطئ فيه التأطير المتداول
القول إن "حكام LLM غير موثوقين" قراءة أوسع من اللازم. فالنتيجة تتعلق بسلوك مقاس خارجيًا على بنية خدمة مشتركة: اسم النموذج خلف نقطة نهاية مشتركة ليس أداة ثابتة، وهذه خاصية في طبقة الخدمة لا في حكم النموذج ذاته. وثمة ملاحظتان أخريان تصبان في صالح الورقة وتعارضان النسخة المثيرة. فالبوابتان 0.90 و0.99 صارمتان على نحو غير معتاد، ودراسة تختار عتبات أرخى كانت ستنجح — لكن القيمة هنا تكمن في أنها ثُبّتت مسبقًا، لا في أن 0.400 ثابتة. وجزء من الفشل يعود إلى أن الفجوات المراد مقارنتها كانت أقل بسبع مراتب أسية من أرضية الضوضاء الخاصة بالأداة نفسها، أي إن الفروق كانت صغيرة جدًا إلى حد يتعذر قياسه أصلًا.