8월 19일 00:00 UTC에 arXiv에 공개된 프리프린트는 LLM API 릴레이 경로가 프롬프트 캐시 격리를 어디서 무너뜨리는지 측정했다. 결론은 일관됐다. OpenAI와 Anthropic에 모두 연결된 시험 대상 오픈소스 게이트웨이 5개 전부가 기본적으로 고객을 상위 자격 증명에 묶지 못했고, 5개 모두 두 제공업체에서 고객 간 캐시 읽기를 노출했다.
공격이 무엇인가
프롬프트 캐싱은 반복되는 접두사를 상위 시스템에 저장해 비용을 낮춘다. 게이트웨이가 하나의 자격 증명 뒤에 많은 고객을 묶어 두면 캐시가 공유되고, 시간 차이를 통해 다른 고객의 접두사가 이미 존재하는지 드러난다. OpenRouter에서 적격 토큰 물량의 80.5%를 대상으로 한 생산 환경 측정에서, 저자들은 28개 라벨 중 12개에서 계정 간 읽기를 확인했으며, 이는 물량의 33.7%를 차지했다. 한 생산 경로에서는 대상에 접근하지 않고도 연속된 8개 목표 위치를 복원했다.
흔한 설명이 놓치는 점
이것은 침해가 아니라 격리 격차에 대한 측정이다. 고객 데이터가 탈취된 적도, 사고가 발생한 적도 없으며, 여기에는 실제 악용의 증거도 없다. 연구진은 조건을 구성한 뒤 무엇이 유출되는지 측정했다. 이를 "LLM 게이트웨이 해킹"이나 "프롬프트 탈취"로 보도하는 것은 실제로 일어나지 않은 사건을 묘사하는 것이다.
또한 이것은 프리프린트다. arXiv에 공개됐지만 동료심사를 거치지 않았고, 독립적인 재현도 이뤄지지 않았다. 둘째, 이 실패는 자연법칙이 아니라 기본값의 문제다. 게이트웨이는 다른 방식으로 설정할 수 있지만, 논문의 핵심은 상자에서 꺼내자마자 그렇게 되어 있지 않다는 점이다.
불편한 숫자
제안된 방어책인 재사용 가능한 공용 접두사 뒤에 캐시 식별 분리를 두는 방식의 비용은 1.7%에서 2.5%다. 수정 비용이 지출의 2.5% 미만인 결함은 신중한 성능 절충안이라고 방어하기 어렵다. 그래서 이 기본 설정은 아쉬운 수준이 아니라 옹호하기 어려운 수준이다.
릴레이가 중요한 이유
게이트웨이는 라우팅, 장애 조치, 지출 통제, 다중 제공업체 추상화를 처리하기 위해 애플리케이션과 모델 제공업체 사이에 놓인다. 이들의 핵심 가치는 자원을 묶는 데 있고, 자격 증명을 묶는 행위가 바로 테넌트 사이 경계를 무너뜨린다. 유료 모델 API 앞에서 공유 릴레이를 운영하는 팀이라면, 특정 고객의 요청이 어떤 자격 증명을 통해 전달되는지 설명할 수 있어야 한다.