Off-by-1 Labs، مجموعة الأبحاث التابعة لـ 1Password، نشرت في 6 أغسطس نتائج تقييم 6,080 تصحيحًا أمنيًا مولَّدًا بالذكاء الاصطناعي. لم ينجح سوى 26.0% منها في إصلاح الثغرة بالكامل من دون تغيير سلوك التطبيق. وكان المؤلفون قد افترضوا معدلًا يتجاوز 67%.
النسبة الأخرى البالغة 74% ليست كلها فشلًا
كما أن 20.1% إضافية أغلقت الثغرة لكنها غيّرت طريقة عمل التطبيق — ما يعني أن 46.1% من التصحيحات أصلحت الخلل فعلًا. أما 53.9% المتبقية فلم تُعالج المشكلة، أو أوجدت ثغرة جديدة، أو الأمران معًا. ولم يخلق سوى 2.3% منها مشكلة أمنية جديدة أثناء إصلاح الخلل الأصلي. لذا فإن الرقم الرئيسي يقلل من معدل الإصلاح ويضخم مستوى الخطر.
المنهجية
اختيرت ست ثغرات CVE كُشف عنها حديثًا تحديدًا لتفادي تلوث بيانات التدريب — فلا يمكن للنموذج أن يكون قد حفظ إصلاحًا نُشر بعد نقطة التوقف المعرفية لديه. وجرى توليد 6,480 تصحيحًا، ثم وُسِم 400 منها واستُبعدت. وكانت النماذج المستخدمة OpenAI's ChatGPT-5.5 وAnthropic's Opus 4.8، بمتوسط $2.11 و$2.81 لكل تصحيح على التوالي. والمؤلفون هم Axel Mierczuk وSpencer Michaels وKeith Hoodlet.
هشة حتى عندما تكون صحيحة
وصُنِّف أكثر من ثلث التصحيحات الناجحة على أنها "هشة" من قبل المؤلفين — أي صحيحة، لكنها تستند إلى افتراضات لن تصمد أمام إعادة هيكلة للكود. أما الرقم المتداول على نطاق واسع البالغ $6.74 فهو تكلفة كل تصحيح ناجح، وهو مقياس مختلف عن تكلفة 1Password لكل تصحيح مُولَّد، والفجوة بين الرقمين هي كلفة المحاولات التي جرى استبعادها.
ما الذي يقيسه وما الذي لا يقيسه
هذا معيار اختبار قائم على ست ثغرات CVE وبمخرجات غير خاضعة للمراجعة، وليس بيانات تشغيلية من بيئة إنتاج، كما أن النماذج المختبرة ليست الإصدارات الأحدث في المجال. وما يقيسه بدقة هو السيناريو الذي تظل الصناعة تقترحه: تصحيحات تُطبَّق من دون أن يقرأها إنسان. وفي هذا السؤال تحديدًا، فإن الفجوة بين فرضية المؤلفين والنتيجة — 67% متوقعة مقابل 26% مُلاحظة — أكبر من النتيجة نفسها.