Nvidia
Nvidia puso por defecto 21 modelos en una KV Cache que, según dice, puede fallar
Las notas de la versión de TensorRT-LLM describen el gestor de KV cache V2 como una mejora en estabilidad, y lo enumeran cuatro veces en problemas conocidos.
hace 2 h
