Un preprint annunciato su arXiv alle 00:00 UTC del 19 agosto misura dove i percorsi di relay delle API LLM interrompono l'isolamento della prompt cache. Il risultato è uniforme: tutti e cinque i gateway open source testati, connessi sia a OpenAI sia ad Anthropic, non hanno vincolato per impostazione predefinita i clienti alle credenziali upstream e tutti e cinque hanno esposto letture della cache tra clienti diversi su entrambe le piattaforme.

Che cos'è l'attacco

La prompt caching rende economici i prefissi ripetuti memorizzandoli a monte. Quando un gateway mette in pool molti clienti dietro un'unica credenziale, la cache è condivisa e le differenze di temporizzazione rivelano se il prefisso di un altro cliente è già presente. Nelle misurazioni in produzione che coprono l'80,5% del volume di token eleggibile su OpenRouter, gli autori hanno identificato letture tra account diversi per 12 di 28 etichette, pari al 33,7% del volume. Su un percorso di produzione hanno recuperato otto posizioni bersaglio consecutive senza alcun accesso al bersaglio.

Cosa non torna nel racconto comune

Questa è una misurazione di una lacuna di isolamento, non una violazione. Nessun dato dei clienti è stato rubato, non si è verificato alcun incidente e nulla qui dimostra uno sfruttamento nel mondo reale. I ricercatori hanno costruito le condizioni e misurato ciò che fuoriusciva. Presentarlo come "gateway LLM violati" o "prompt rubati" descrive un evento che non è accaduto.

È anche un preprint: annunciato su arXiv, non sottoposto a revisione paritaria e non replicato in modo indipendente. In secondo luogo, il guasto è una configurazione predefinita, non una legge di natura — i gateway possono essere configurati diversamente, e il punto del paper è che non lo sono, out of the box.

Il numero che rende la cosa imbarazzante

La difesa proposta — collocare le separazioni dell'identità della cache dopo i prefissi pubblici riutilizzabili — costa dall'1,7% al 2,5%. Un difetto la cui correzione costa meno del due e mezzo per cento della spesa è difficile da difendere come un deliberato compromesso di performance, ed è questo che rende la configurazione predefinita indifendibile più che semplicemente sfortunata.

Perché i relay contano

I gateway si collocano tra le applicazioni e i provider dei modelli per gestire routing, failover, controllo della spesa e astrazione multi-provider. Il loro valore sta tutto nel mettere in pool — e mettere in pool le credenziali è esattamente ciò che abbatte il confine tra tenant. Qualsiasi team che gestisca un relay condiviso davanti a un'API di modello a pagamento dovrebbe poter dire su quale credenziale viaggia la richiesta di un dato cliente.