La Frontier Red Team d’Anthropic, en collaboration avec Andon Labs, a confié à 15 modèles d’IA les commandes d’un véritable drone quadricoptère et leur a demandé de survoler un bureau, de trouver une personne précise puis de la suivre. Les résultats et la suite de tâches ont été publiés vendredi sous le nom de Drone-Bench.

Comment le score a été établi

La tâche a été décomposée en cinq sous-tâches, dont Reconstruct — transformer la vidéo du bureau en modèle 3D — et Localize, qui consiste à faire correspondre la vue du drone à une carte d’obstacles en 2D. Le point de comparaison n’est pas un humain sans assistance : le référentiel a été fixé par des équipes humain-IA utilisant des agents de codage. Présenter cela comme des « modèles au niveau des humains » ne décrit pas correctement ce qui a été mesuré.

Où se situe le blocage

La détection et le suivi ont atteint près de 100 % du référentiel. La reconstruction n’a atteint qu’environ 47 % à la mi-2026, et c’est le goulot d’étranglement qui freine l’ensemble de la tâche. Le modèle le plus performant a dépassé le référentiel dans chaque sous-tâche sauf la reconstruction — mais, même lui, n’a dépassé le référentiel en moyenne que dans trois sous-tâches sur cinq.

Limites annoncées

Anthropic a publié les contraintes plutôt que de les dissimuler : vitesse lente du drone, plan d’un seul étage de bureau, nombre limité de personnes, aucun test en extérieur et aucune foule. Les modèles testés couvraient 15 versions de trois développeurs sur environ deux ans de progrès.

Quels modèles

Les 15 versions couvrent environ deux ans de progrès de pointe chez trois développeurs, allant de GPT-4o et o1 à Gemini 2.5 Pro et aux versions successives de Claude Opus, jusqu’à la génération actuelle. Les lire comme une série chronologique est justement l’objectif : la détection et le suivi sont proches de la saturation, tandis que la reconstruction a à peine progressé.

La question de la gouvernance

L’équipe a nommé le risque sans détour : une fois les seuils de fiabilité franchis, il y aura une réelle pression pour considérer la supervision humaine comme un coût plutôt que comme une garantie.