EVIE от Tencent лидирует на ViDoRe V3, но на V1 — третья, что видно из собственной таблицы

Tencent 7 сентября выложила веса двух моделей визуального поиска по документам на Hugging Face под лицензией Apache-2.0, без объявления и без какого-либо освещения на момент публикации. В коммите релиза — "EVIE-8B: teacher weights, inference, 138-task eval" — стоит отметка времени 09:04:08 UTC, то есть 17:04 по Пекину; коммиты с документацией продолжались до 10:41 UTC.

Что было выпущено

EVIE-8B — это модель с 8,41 млрд параметров на базе Qwen3.5-9B, которая формирует 4096-мерные эмбеддинги для каждого токена; EVIE-4.5B — это дистиллированный student с 4,61 млрд параметров и усечением размерности от 64 до 2048. Обе относятся к ретриверам с поздним взаимодействием из линии ColBERT — они сохраняют векторы по токенам и считают по MaxSim, а не сжимают страницу в один вектор, что и позволяет сохранить структуру таблиц и макета. Репозиторий 8B занимает 16,84 ГБ в 47 файлах; 4.5B — 9,11 ГБ в 88 файлах и включает код обучения.

Тезис, который не подтверждает собственная таблица

На карточке сразу показаны два золотых бейджа Rank #1. Первый обоснован: 66,75 nDCG@10 на ViDoRe V3 действительно лучший в сравнительной таблице, опережая webAI-ColVec1.1-8b с 65,32 и nemotron-colembed-vl-8b-v2 с 63,54. Второй бейдж гласит "ViDoRe V1+V2 — 92.18 · Rank #1", хотя 92.18 — это оценка EVIE-8B именно по ViDoRe V1. В той же таблице nemotron-colembed-vl-8b-v2 набирает 92,65, а VultronRetrieverCore-4.5B — 92,21 в этом же бенчмарке. На V1 собственные данные Tencent ставят EVIE-8B лишь на третье место.

Что скрывает эта подача бенчмарков

На карточке указано, что выпущенный чекпойнт — это "a40" смесь в пространстве весов с alpha = 0.40 двух независимо обученных веток, выбранная потому, что она дает пик по V3. Коэффициент смешивания, подобранный под результат в бенчмарке, — это артефакт, подогнанный под тест; при этом карточка не сообщает, как показали бы себя несмешанные ветки. Публикации тоже нет: в заметке о релизе сказано, что формальное описание и абляции архитектуры "будут обновлены в одном из следующих релизов". Все приведенные здесь числа — это самоотчет Tencent на собственной карточке, а не независимая подача на лидерборд.

Не путать с августовским релизом

17 августа Tencent опубликовала EVIE-Preview-4.5B — отдельный чекпойнт с 128-мерностью, который в этой таблице фигурирует с результатом 65,36. Репозитории для двух моделей, выпущенных сегодня, были созданы 4 сентября как пустые заглушки; публично сами веса появились только в понедельник.