Black Forest Labs переходит от создания изображений к управлению роботами

Black Forest Labs в четверг представила FLUX 3 и FLUX-mimic, объединив новую мультимодальную базовую модель с первой моделью немецкой лаборатории, предназначенной для управления физическими машинами. Для компании, наиболее известной по моделям для генерации изображений, на которых построена значительная часть европейских инструментов генеративного ИИ, это резкий поворот.

FLUX 3

Главная возможность — видео с нативным аудио длительностью до 20 секунд за одну генерацию, а не отдельный проход для видео и затем отдельный проход для звуковой дорожки. Модель также поддерживает многоязычные диалоги и преобразование keyframe-to-video. В опубликованных лабораторией предварительных оценках предпочтений она получила 77% против Runway Gen-4.5 и 93% против Luma Ray 3.2. Открытые веса для варианта FLUX 3 Dev планируются после завершения раннего доступа.

FLUX-mimic

Робототехническая модель представляет собой систему video-action — она предсказывает, что должно произойти дальше в сцене, и выдает действия, необходимые для этого. Она создана совместно с Mimic Robotics, компанией по манипуляционным решениям из Цюриха, и проходит тестирование для промышленного внедрения в Audi. Именно это названное промышленное внедрение отличает ее от большинства заявлений в области физического ИИ.

Почему видеолаборатория занимается роботами

Ставка состоит в том, что модель, обученная предсказывать следующий кадр физического мира, уже усвоила большую часть того, что нужно политике управления роботом — постоянство объектов, контакт, последствия. Генерация видео и управление роботами в итоге оказываются одной и той же задачей предсказания, только с разными выходными головами. Это та же ставка, которую делают Google и Nvidia с world models, только с противоположного направления.

Европейский аспект

Black Forest Labs — самый заметный неамериканский участник гонки физического ИИ, и ее опыт в выпуске open-weight-моделей имеет значение: модели FLUX для изображений стали инфраструктурным стандартом отчасти потому, что веса были опубликованы. Станет ли FLUX 3 Dev доступна на тех же условиях, определит, повторится ли это для видео и управления.