Nvidia ha pubblicato TensorRT-LLM v1.3.0rc25 il 31 agosto alle 03:24:43 UTC. La modifica con l’impatto più ampio è che KV cache manager V2 è diventato il valore predefinito per circa 21 famiglie di modelli. Il rilascio è contrassegnato come prerelease, il che è il dato attenuante in questo caso — ma le note restano internamente in contraddizione.
Un’affermazione senza numeri a sostegno
La giustificazione fornita per rendere V2 il predefinito è scalabilità e stabilità migliorate. Non c’è una baseline, nessun benchmark, nessun dato di throughput, nessun confronto sull’ingombro di memoria e nessun carico di lavoro nominato. Per un componente che decide come viene allocata la cache dell’attenzione in una flotta di serving, un "più stabile" senza una misura non è un’affermazione ingegneristica su cui un operatore possa agire.
La stessa pagina si contraddice
Le note di rilascio includono una sezione Problemi noti, e KV cache manager V2 vi compare ripetutamente — incluso un avviso secondo cui lo scheduler V2 può andare in crash o esaurire la memoria in modo intermittente su B200, l’attuale modello di punta di Nvidia. Dunque il componente promosso a default per ragioni di stabilità è, nella stessa pagina, documentato come capace di andare in crash sull’hardware più recente e più probabile candidato a eseguirlo. Entrambe le affermazioni possono essere vere — V2 potrebbe essere migliore nel complesso e avere comunque un bug aperto nello scheduler — ma le note non le riconciliano mai, e chi si ferma ai punti salienti vede solo la prima.
Perché la lettura più comune sbaglia
I riassunti delle note di rilascio trattano "default" come un segnale di maturità: se il fornitore lo ha attivato, deve essere pronto. Nei canali prerelease questa inferenza non regge. Impostare un default è il modo in cui un progetto ottiene copertura di test, ed è proprio ciò che dovrebbero fare le build con tag rc. L’errore è leggere un default di release candidate come una raccomandazione per la produzione — e la lettura onesta di questo caso è che Nvidia sta ampliando l’esposizione a V2 proprio perché ha ancora problemi aperti.
Cosa dovrebbe fare un operatore
Leggere i Problemi noti prima dei punti salienti, e mantenere fissato il precedente KV cache manager se state servendo su B200 finché le note sullo scheduler non saranno risolte. La via d’uscita esiste; il rilascio semplicemente non mette in evidenza il fatto che potrebbe servirvi.