Sei agent di coding crollano su 13 su 13 — il tasso reale di Claude Code è del 31,7%

"When Context Gets Root: Privilege Escalation in LLM Harnesses" è stato inviato su arXiv alle 16:03:57 UTC del 27 agosto. La sua tesi è che il software che avvolge un modello — non il modello — promuove il contenuto dei file controllato dall'attaccante nello slot di istruzione con il privilegio più alto dell'agente, così che un modello perfettamente obbediente viene comunque compromesso.

Cosa è stato testato

Sei harness su versioni attuali e indicate per nome: Claude Code (Opus 4.8, v2.1.210), Codex (GPT-5.5, v0.138.0), Gemini CLI (Gemini 3.1 Pro Preview, v0.50.0), Qwen Code (Qwen3.7 Max, v0.21.4), Kimi (Kimi 3, v0.36.0) e OpenCode (DeepSeek-V4-Pro-0813, v1.18.1). Gli attacchi sono riprodotti tramite funzioni già distribuite — obiettivi persistenti e attività programmate — ed è questo che li rende concreti anziché teorici.

Il numero dell'abstract

"With unrestricted action execution, the attacks achieve all 13 objectives on all six harnesses," e "under automatic permission review, the attacks achieve all 13 objectives on all three harnesses that provide this mode." L'introduzione aggiunge un tasso medio di successo del 97,3% per l'escalation da tool a user e dell'80,3% per tool-to-system.

Ciò che la cornice comune sbaglia

"Tredici su tredici su sei su sei" sembra dire che ogni agente crolli ogni volta. Le tabelle del paper dicono qualcosa di più circoscritto: 13/13 significa che ciascun obiettivo ha avuto successo almeno una volta nel corso di tentativi ripetuti — non che un tentativo riesca. I dati per singolo tentativo in Full Access, l'impostazione più permissiva disponibile, sono Claude Code 31,7%, Gemini CLI 61,7%, Qwen Code 61,7%, Kimi 64,9%, OpenCode 72,5%. Solo Codex raggiunge un vero 100,0%. Il titolo corretto è che, con abbastanza retry, ogni obiettivo finisce per andare a segno su ogni agente, con tassi di successo compresi circa tra un terzo e il totale.

In secondo luogo, i due regimi vengono presentati come equivalenti, ma non lo sono. La revisione automatica dei permessi ha aiutato in modo misurabile esattamente un harness: Codex è sceso di 27,8 punti, e il paper spiega perché — "Codex's Auto PR actively inspects newly inserted function calls and their runtime behavior." Su Claude Code il tasso è salito, da 31,7% a 37,1%, il che, a queste dimensioni campionarie, sembra rumore più che una difesa funzionante. Dire che entrambi i regimi sono rotti allo stesso modo cancella l'unico meccanismo nello studio che abbia fatto qualcosa.

Terzo, un denominatore: tre dei sei harness non hanno affatto una modalità di revisione dei permessi, quindi "all three harnesses that provide this mode" significa tre su tre, non sei su sei.

Il revisore che ha approvato l'attacco

Una frase del paper merita di essere citata per intero: "In successful Claude Code cases, the reviewer observes the modifications made to the todo server but still approves their execution." Il controllo ha funzionato, ha visto la modifica e ha detto sì.