Южная Корея вышла на передний край гонки open-weights. Motif Technologies, стартап из Сеула примерно из 30 человек, выпустил Motif-3-Beta — модель с 314 миллиардами параметров, веса которой появились на Hugging Face примерно 20 июля, а объявление компании о рейтинге последовало в корейской прессе во вторник, 21 июля.

Архитектура

Motif-3-Beta построена как разреженная mixture-of-experts: 384 эксперта, из которых на каждый токен активируются 8 плюс один общий, что дает около 13 миллиардов активных параметров — примерно 4% от общего числа — и нативное контекстное окно в 256K токенов. Компания утверждает, что архитектура полностью разработана внутри компании, а не является форком существующих открытых моделей. Обучение длилось около пяти месяцев на примерно 700 GPU, предоставленных правительством, в рамках корейской программы sovereign-AI foundation model, которая отобрала Motif наряду с LG AI Research, SK Telecom и Upstage.

Заявление о рейтинге

По словам компании со ссылкой на оценки Artificial Analysis, показатель Motif-3-Beta 44 в Intelligence Index ставит ее на третье место среди open-weights-моделей в мире — после Kimi K3 от Moonshot и GLM-5.2 от Zhipu, наравне с DeepSeek V4 Pro — и на 11-е место среди всех моделей, что является лучшим результатом для любой лаборатории за пределами США и Китая. Это интерпретация данных Artificial Analysis со стороны самой Motif, а бенчмаркованный чекпойнт предшествует публичному релизу весов.

Уточнения

Лицензия beta-версии разрешает только личное, образовательное и исследовательское использование; коммерческое использование требует письменного разрешения — так что корректнее всего сейчас называть модель «open-weights, non-commercial». Финальная версия с улучшенной производительностью обещана на начало августа, а государственная программа нацелена на полноценный коммерческий open-source для завершенной модели.

Связь с AMD

Motif выделилась из Moreh, корейской компании по разработке AI-программного обеспечения, чье раунд Series B в 2023 году включал AMD и KT — и чей стек работает на GPU AMD Instinct. В мае Motif сама привлекла раунд Series B на ₩24 млрд (~$16.6 млн). Передовая по меркам отрасли модель, созданная вне экосистемы Nvidia командой из 30 человек, — это именно тот факт, который на этой неделе не был нужен дискуссии об издержках open-weight моделей.