وجّهت شركة إيطالية للأمن الهجومي نماذج الحدود من Anthropic وOpenAI إلى الشيفرة المصدرية لـ GlobaLeaks، وهي منصة مفتوحة المصدر للإبلاغ عن المخالفات خضعت لما يقرب من عقد من عمليات التدقيق البشرية المستقلة، ثم نشرت ما خرج منها: 29 ثغرة مؤكدة، و12 مشكلة حجب خدمة و42 ملاحظة تتعلق بالتقوية الأمنية.
لم تكن المهمة سهلة
وهذا أهم من مجرد العدد. تُستخدم GlobaLeaks في غرف الأخبار وهيئات مكافحة الفساد، وقد راجعها مرارًا أشخاص يتقاضون أجرًا لاختراقها. العثور على أي شيء هناك ادعاء أقوى من العثور على أخطاء في قاعدة شيفرة لم تُفحص من قبل.
النسبة التي يخفيها العنوان
أنتجت النماذج 110 نتيجة مرشحة. وأكد الفرز البشري 29 منها. وهذا يمثل دقة تقارب 26 بالمئة — أي إن نحو ثلاثة أرباع ما أثارته النماذج لم يصمد أمام المراجعة. والعنوان المتداول، بأن الذكاء الاصطناعي يمكنه تحديد ثغرات برمجية حقيقية، صحيح، لكنه يغفل الكلفة.
ما الذي تُغفله الـ 77 دولارًا
يذكر البحث نحو 77 دولارًا لكل نتيجة مؤكدة، من إنفاق إجمالي يقارب 3,140 دولارًا عبر 12,000 طلب و1.24 مليار رمز. وينص النص نفسه على أن هذا الرقم هو قبل التحقق البشري. إن الفرز الخبير الذي حوّل 110 تخمينات إلى 29 نتيجة هو الخطوة التي أفضت إلى التأكيدات، وليس هذا مدرجًا في الرقم. كما يقرّ الاستنتاج المعلن للدراسة بأن الخبراء لا يزالون يحتفظون بالدور الحاسم.
اقرأ توزيع الكلفة، لا الإجمالي
هناك رقم واحد يتجاوز غيره: فقد استهلك نموذج الاستدلال المتقدم 62 بالمئة من الميزانية بينما عالج 7 بالمئة من الرموز. هذه هي الاقتصاديات الحقيقية لنماذج الاستدلال في أعمال المراجعة — إذ يتركز الإنفاق في شريحة ضيقة من المهمة. وملاحظتان على المصدر. فهذا تقرير ذاتي من شركة تبيع هذه الخدمة تحديدًا. كما أن رقم 29 لا يتضمن تفصيلًا منشورًا للشدة، لذلك لا ينبغي قراءته على أنه 29 حالة حرجة؛ أما البنود الـ 54 المتبقية فهي اقتراحات لحجب الخدمة وتقوية الأمن، لا ثغرات قابلة للاستغلال.