Un preprint publicado en arXiv a las 00:00 UTC del 19 de agosto mide dónde se rompe el aislamiento de la caché de prompts en las rutas de relay de la API de LLM. El hallazgo es uniforme: los cinco gateways de código abierto probados, conectados tanto a OpenAI como a Anthropic, no lograron vincular a los clientes con las credenciales upstream por defecto, y los cinco expusieron lecturas cruzadas de caché entre clientes en ambos proveedores.

Qué es el ataque

La caché de prompts abarata los prefijos repetidos al almacenarlos aguas arriba. Cuando un gateway agrupa a muchos clientes detrás de una sola credencial, la caché se comparte, y las diferencias de tiempo revelan si el prefijo de otro cliente ya está presente. En mediciones de producción que abarcaron el 80,5% del volumen de tokens elegible en OpenRouter, los autores identificaron lecturas entre cuentas para 12 de 28 etiquetas, que representaban el 33,7% del volumen. En una ruta de producción recuperaron ocho posiciones objetivo consecutivas sin ningún acceso al objetivo.

Qué falla en el relato habitual

Esto es una medición de una brecha de aislamiento, no una intrusión. No se robó datos de ningún cliente, no ocurrió ningún incidente y nada de esto demuestra explotación en el mundo real. Los investigadores construyeron las condiciones y midieron lo que se filtraba. Presentarlo como "gateways de LLM hackeados" o "prompts robados" describe un hecho que no ha ocurrido.

También es un preprint: anunciado en arXiv, no revisado por pares y sin replicación independiente. En segundo lugar, el fallo es un comportamiento por defecto, no una ley de la naturaleza; los gateways pueden configurarse de otro modo, y el punto del artículo es que no lo están, de fábrica.

La cifra que lo vuelve incómodo

La defensa propuesta —situar las divisiones de identidad de la caché después de los prefijos públicos reutilizables— cuesta entre el 1,7% y el 2,5%. Un defecto cuya solución cuesta menos del dos y medio por ciento del gasto es difícil de justificar como una compensación de rendimiento meditada, y eso es lo que hace que el valor por defecto sea indefendible más que simplemente desafortunado.

Por qué importan los relays

Los gateways se sitúan entre las aplicaciones y los proveedores de modelos para gestionar el enrutamiento, el failover, el control del gasto y la abstracción entre varios proveedores. Su valor reside precisamente en agrupar; y agrupar credenciales es exactamente lo que colapsa la frontera entre inquilinos. Cualquier equipo que ejecute un relay compartido delante de una API de modelo de pago debería poder indicar en qué credencial viaja la petición de un cliente concreto.