Nvidia는 31일 03시 24분 43초 UTC에 TensorRT-LLM v1.3.0rc25를 공개했다. 가장 광범위한 영향 범위를 지닌 변경 사항은 약 21개 모델군에서 KV cache manager V2를 기본값으로 바꾼 것이다. 이번 릴리스는 사전 릴리스로 표시돼 있어 그나마 완충 요인이 있지만, 노트 내용은 여전히 서로 모순된다.
숫자 없는 주장
V2를 기본값으로 설정한 이유로 제시된 것은 향상된 확장성 및 안정성이다. 그러나 기준선도, 벤치마크도, 처리량 수치도, 메모리 사용량 비교도, 특정 워크로드도 없다. 추론 캐시가 서빙 플릿 전반에서 어떻게 할당되는지를 결정하는 구성요소에 대해, 측정값 없는 "더 안정적"이라는 설명은 운영자가 행동 지침으로 삼을 수 있는 엔지니어링 주장이라 보기 어렵다.
같은 페이지가 이를 반박한다
출시 노트의 Known Issues 섹션에는 KV cache manager V2가 반복해서 등장한다. 여기에는 V2 스케줄러가 간헐적으로 크래시하거나 메모리가 부족해질 수 있다는 내용도 포함돼 있다. 대상은 Nvidia의 현행 주력 제품인 B200이다. 즉, 안정성 이유로 기본값에 오른 구성요소가 같은 페이지에서 가장 최신 하드웨어에서 크래시할 수 있다고 문서화돼 있는 셈이다. 두 설명이 모두 사실일 수는 있다. V2가 전체적으로는 더 나으면서도 여전히 열린 스케줄러 버그를 안고 있을 수 있기 때문이다. 그러나 노트는 이를 설명하지 않으며, 하이라이트만 읽는 독자는 첫 번째 주장만 보게 된다.
흔한 해석의 오류
출시 노트 요약은 "기본값"을 성숙도의 신호로 본다. 공급사가 이를 켰다면 준비가 끝났다는 식이다. 그러나 사전 릴리스 채널에서는 그런 추론이 성립하지 않는다. 기본값 설정은 프로젝트에 테스트 커버리지를 확보하는 방식이며, rc 태그가 붙은 빌드가 바로 그 작업을 위한 단계다. 이번 사례를 출시 후보의 기본값이 곧 생산 환경 권고라고 읽는 것이 오해이고, 이 릴리스의 정직한 해석은 Nvidia가 여전히 열려 있는 문제를 안고 있는 V2의 노출 범위를 넓히고 있다는 점이다.
운영자가 해야 할 일
하이라이트보다 먼저 Known Issues를 읽고, B200에서 서비스를 운영 중이라면 스케줄러 관련 노트가 해소될 때까지 이전 KV cache manager를 고정해 두는 것이 좋다. 우회 경로는 존재한다. 다만 이번 릴리스는 그것이 필요할 수 있다는 사실을 앞세우지 않을 뿐이다.