Пять LLM-шлюзов, пять провалов: исследователи считывают данные между клиентами через prompt cache

Препринт, опубликованный на arXiv в 00:00 UTC 19 августа, измеряет, где разрываются пути LLM API relay и изоляция prompt cache. Вывод одинаков для всех случаев: все пять протестированных open-source gateways, подключенных и к OpenAI, и к Anthropic, по умолчанию не привязывали клиентов к upstream credentials, и все пять допускали межклиентские cache reads у обоих провайдеров.

Что представляет собой атака

Prompt caching удешевляет повторяющиеся префиксы, сохраняя их upstream. Когда gateway объединяет многих клиентов под одним credential, cache становится общим, а различия во времени позволяют определить, присутствует ли префикс другого клиента уже в системе. В производственных измерениях, охватывающих 80,5% eligible token volume на OpenRouter, авторы выявили cross-account reads для 12 из 28 labels, что составляет 33,7% volume. На одном production route они восстановили восемь последовательных target positions без какого-либо доступа к target.

Что неправильно понимают в общепринятом изложении

Это измерение пробела в изоляции, а не взлом. Данные клиентов не были похищены, инцидента не произошло, и здесь нет доказательств эксплуатации в реальной среде. Исследователи сами создали условия и измерили, что утекало. Описывать это как "LLM gateways hacked" или "prompts stolen" — значит говорить о событии, которого не было.

Это также препринт: он опубликован на arXiv, не прошел рецензирование и не был независимо воспроизведен. Во-вторых, сбой — это значение по умолчанию, а не закон природы: gateways можно настроить иначе, и суть статьи в том, что из коробки этого не сделано.

Число, из-за которого это выглядит неудобно

Предложенная защита — перенос разделения cache identity после reusable public prefixes — стоит 1,7%–2,5%. Дефект, исправление которого требует менее двух с половиной процентов затрат, трудно оправдать как осознанный компромисс в пользу производительности; именно поэтому значение по умолчанию выглядит не просто неудачным, а неоправданным.

Почему relay важны

Gateways стоят между приложениями и model providers, обеспечивая маршрутизацию, failover, контроль расходов и абстракцию над несколькими провайдерами. Их главная ценность — в объединении потоков; а объединение credentials как раз и стирает границу между tenants. Любая команда, использующая shared relay перед платным model API, должна уметь указать, по какому именно credential проходит запрос конкретного клиента.