سلّم فريق Frontier Red Team التابع لـ Anthropic، بالتعاون مع Andon Labs، 15 نموذجًا للذكاء الاصطناعي أدوات التحكم في طائرة مسيّرة رباعية المراوح حقيقية، وطلب منها التحليق عبر مكتب، والعثور على شخص محدد ومتابعته. ونُشرت النتائج ومجموعة المهام يوم الجمعة تحت اسم Drone-Bench.
كيف جرى التقييم
تم تفكيك المهمة إلى خمس مهام فرعية، من بينها Reconstruct — أي تحويل فيديو المكتب إلى نموذج ثلاثي الأبعاد — وLocalize، أي مطابقة رؤية الطائرة مع خريطة عوائق ثنائية الأبعاد. ونقطة المقارنة ليست إنسانًا يعمل من دون مساعدة: فقد حُدد خط الأساس عبر فرق بشرية-ذكاء اصطناعي تستخدم وكلاء برمجة. وأي تأطير من نوع "النماذج تضاهي البشر" يسيء وصف ما جرى قياسه.
أين تكمن العقبة
بلغ كل من الاكتشاف والمتابعة نحو 100% من خط الأساس. أما إعادة البناء فلم تتجاوز نحو 47% بحلول منتصف 2026، وهي عنق الزجاجة الذي يعيق المهمة بأكملها. وتفوّق أقوى نموذج على خط الأساس في كل مهمة فرعية باستثناء إعادة البناء — لكنّه لم يتجاوز خط الأساس في المتوسط إلا في ثلاث مهام فرعية من أصل خمس.
القيود المعلنة
نشر Anthropic القيود بدلًا من إخفائها: سرعات بطيئة للطائرة المسيّرة، ومخطط طابق واحد لمكتب، وعدد محدود من الأشخاص، وعدم إجراء اختبارات في الهواء الطلق، وعدم وجود حشود. وشملت النماذج المختبرة 15 إصدارًا من ثلاثة مطورين على مدى نحو عامين من التقدم.
أي النماذج
تمتد النماذج الـ15 على نحو عامين من التقدم في النماذج الرائدة عبر ثلاثة مطورين، بدءًا من GPT-4o وo1 وصولًا إلى Gemini 2.5 Pro وإصدارات Claude Opus المتعاقبة، ثم الجيل الحالي. وفهمها كسلسلة زمنية هو المغزى: فالاكتشاف والمتابعة يقتربان من التشبع، بينما لم تتحرك إعادة البناء إلا قليلًا.
الخط المتعلق بالحوكمة
سمّى الفريق الخطر مباشرة: فبمجرد تجاوز عتبات الموثوقية، ستنشأ ضغوط حقيقية للتعامل مع الإشراف البشري بوصفه تكلفة لا ضمانًا.