Nvidia
Nvidia a fait du cache KV par défaut sur 21 modèles, tout en disant qu'il peut planter
Les notes de version de TensorRT-LLM présentent le gestionnaire de cache KV V2 comme une amélioration de la stabilité, et le citent quatre fois dans les problèmes connus.
il y a 2 h
