Il Frontier Red Team di Anthropic, in collaborazione con Andon Labs, ha affidato a 15 modelli di AI i comandi di un vero drone quadricottero e ha chiesto loro di volare attraverso un ufficio, trovare una persona specifica e seguirla. I risultati e la suite di compiti sono stati pubblicati venerdì come Drone-Bench.

Come è stato valutato

Il compito è stato scomposto in cinque sotto-attività, tra cui Reconstruct — trasformare il video dell’ufficio in un modello 3D — e Localize, cioè confrontare la vista del drone con una mappa ostacolare 2D. Il punto di confronto non è un umano senza aiuti: il baseline è stato fissato da team umano-AI che utilizzavano agenti di coding. Qualsiasi impostazione del tipo "i modelli eguagliano gli umani" descrive in modo errato ciò che è stato misurato.

Dov’è il collo di bottiglia

Rilevamento e inseguimento hanno raggiunto quasi il 100% del baseline. La ricostruzione si è fermata a circa 47% a metà 2026, ed è il collo di bottiglia che frena l’intero compito. Il modello migliore ha superato il baseline in tutte le sotto-attività tranne la ricostruzione — ma anche così lo ha superato in media solo in tre su cinque.

Limiti dichiarati

Anthropic ha pubblicato i vincoli invece di nasconderli: velocità lente del drone, una sola planimetria dell’ufficio, un numero limitato di persone, nessun test all’aperto e nessuna folla. I modelli testati coprivano 15 release di tre sviluppatori lungo circa due anni di progresso.

Quali modelli

Le 15 release coprono circa due anni di progresso di frontiera lungo tre sviluppatori, da GPT-4o e o1 fino a Gemini 2.5 Pro e alle successive release di Claude Opus, fino alla generazione attuale. Leggerli come una serie temporale è il punto: rilevamento e inseguimento sono quasi saturi, mentre la ricostruzione è avanzata appena.

La linea di governance

Il team ha indicato direttamente il rischio: una volta superate le soglie di affidabilità, ci sarà una forte pressione per trattare la supervisione umana come un costo anziché come una garanzia.