Nvidia a publié TensorRT-LLM v1.3.0rc25 le 31 août à 03:24:43 UTC. Le changement au périmètre le plus large est que KV cache manager V2 est devenu le réglage par défaut pour environ 21 familles de modèles. La version est signalée comme une préversion, ce qui constitue ici l’élément atténuant — mais les notes restent en contradiction interne.
Une affirmation sans chiffre pour l’étayer
La justification avancée pour faire de V2 le défaut est une meilleure évolutivité et une meilleure stabilité. Il n’y a ni référence de base, ni benchmark, ni chiffre de débit, ni comparaison d’empreinte mémoire, ni charge de travail nommée. Pour un composant qui décide de la manière dont le cache d’attention est alloué sur une flotte de service, "plus stable" sans mesure n’est pas une affirmation technique sur laquelle un opérateur puisse agir.
La même page se contredit
Les notes de version comportent une section Problèmes connus, et KV cache manager V2 y apparaît à plusieurs reprises — notamment avec une note indiquant que le planificateur V2 peut planter par intermittence ou manquer de mémoire sur B200, le fleuron actuel de Nvidia. Ainsi, le composant promu par défaut pour des raisons de stabilité est, sur la même page, documenté comme pouvant planter sur le matériel le plus récent et le plus susceptible de l’exécuter. Les deux affirmations peuvent être vraies — V2 peut être meilleur en moyenne tout en conservant un bug ouvert dans le planificateur — mais les notes ne les réconcilient jamais, et un lecteur qui s’arrête aux points saillants ne voit que la première.
Ce que le cadrage habituel ignore
Les résumés de notes de version traitent le mot "défaut" comme un signal de maturité : si l’éditeur l’a activé, c’est qu’il est prêt. Dans les canaux de préversion, cette déduction ne tient pas. Mettre quelque chose par défaut, c’est la manière dont un projet obtient de la couverture de tests, et c’est précisément ce qui est censé se produire dans les builds marqués rc. L’erreur consiste à lire un défaut de version candidate comme une recommandation de production — et la lecture honnête de celle-ci est que Nvidia élargit l’exposition à V2 précisément parce qu’il comporte encore des problèmes ouverts.
Ce qu’un opérateur devrait faire
Lisez les Problèmes connus avant les points saillants, et conservez le gestionnaire de cache KV précédent si vous servez sur B200 jusqu’à ce que les notes du planificateur soient clarifiées. L’issue de secours existe ; la version ne met simplement pas en avant le fait que vous pourriez en avoir besoin.