Nvidia выпустила TensorRT-LLM v1.3.0rc25 31 августа в 03:24:43 UTC. Самое заметное изменение заключается в том, что KV cache manager V2 стал настройкой по умолчанию примерно для 21 семейства моделей. Релиз помечен как предварительный, и это смягчающий фактор, однако примечания к нему все равно внутренне противоречат сами себе.

Утверждение без единого числа

Обоснование для включения V2 по умолчанию — повышенная масштабируемость и стабильность. При этом нет ни базовой точки сравнения, ни бенчмарка, ни показателя пропускной способности, ни сравнения по потреблению памяти, ни названной рабочей нагрузки. Для компонента, который определяет, как кеш внимания распределяется по обслуживающему флоту, формулировка «стабильнее» без измерений — это не инженерный аргумент, на который может опереться оператор.

Та же страница это опровергает

В примечаниях к релизу есть раздел Known Issues, и KV cache manager V2 фигурирует там неоднократно — в том числе с примечанием, что планировщик V2 может периодически падать или исчерпывать память на B200, нынешнем флагмане Nvidia. Иными словами, компонент, который продвигают в статусе default из соображений стабильности, на той же странице документирован как способный вызывать сбои на новейшем оборудовании, на котором он с наибольшей вероятностью и будет работать. Оба утверждения могут быть верны — в целом V2 может быть лучше, но при этом в нем может оставаться неисправленная ошибка планировщика, — однако примечания их не согласуют, и читатель, остановившийся на основных тезисах, увидит лишь первое.

Что неверно в привычной трактовке

Краткие пересказы релиз-нот трактуют «default» как признак зрелости: если вендор включил это по умолчанию, значит, решение готово. В каналах prerelease такой вывод не работает. Включение по умолчанию — это способ получить тестовое покрытие, и именно для этого и существуют сборки с тегом rc. Ошибка — читать default в релиз-кандидате как рекомендацию для продакшена; и честное прочтение этого релиза таково, что Nvidia расширяет использование V2 именно потому, что в нем по-прежнему есть открытые проблемы.

Что стоит сделать оператору

Сначала читайте Known Issues, а уже потом — основные тезисы; если вы обслуживаете B200, закрепите предыдущую версию KV cache manager, пока замечания по планировщику не будут сняты. Такой запасной вариант есть; просто в релизе не акцентируют внимание на том, что он может вам понадобиться.