ByteDance объявила 18 августа, что в рабочем режиме Doubao теперь есть Virtual Desktop в Windows-клиенте, позволяющий ассистенту видеть экран и управлять мышью и клавиатурой в любых приложениях. Пользователи получают доступ к функции, выбрав рабочий режим, затем локальный компьютер, затем «operate computer» на панели навыков, после чего предоставляют авторизацию.
Механизм, по словам самой ByteDance
Компания описывает его как работу на базе универсальных GUI-возможностей: 豆包虚拟桌面基于GUI能力运行，即使没有MCP、API、插件或CLI，也能直接识别软件界面并完成操作 — он распознаёт интерфейсы программ и выполняет действия напрямую, даже если нет сервера MCP, API, плагина или интерфейса командной строки. Отличающее свойство компания формулирует столь же прямо: 虚拟桌面运行时不会占用用户当前正在使用的鼠标和键盘，也不会打断现有工作 — во время работы он не занимает мышь и клавиатуру, которыми пользователь пользуется в данный момент, и не прерывает текущую работу. Пользователи могут наблюдать за шагами в реальном времени, ставить процесс на паузу или перехватывать управление напрямую. Пример, который приводит компания, — перенос резюме из локальной папки в систему регистрации кандидатов.
Что неверно в распространённой трактовке
Уже циркулируют две ошибки. Первая смешивает эту функцию с другой возможностью Doubao, выпущенной днём ранее, — удалённым управлением с телефона на ПК. Это разные релизы, опубликованные подряд в течение двух дней. Вторая трактует «virtual desktop» как облачную виртуальную машину. Здесь речь идёт об изолированной сессии на собственном Windows-устройстве пользователя, и именно поэтому вообще приходится отдельно указывать на поведение мыши и клавиатуры: облачная песочница в принципе не конкурировала бы за локальные устройства ввода.
Отсутствие интеграций — это ещё и вопрос безопасности, а не только возможностей
Формула «No MCP, no API, no plugins» подаётся как похвала за широту охвата, и в этом смысле она действительно оправданна: пиксели и клики позволяют работать с программами, у которых нет вообще никакой интеграционной поверхности. Но это также означает, что агент наследует те полномочия, которыми обладает вошедший в систему пользователь Windows, — при одном предварительном разрешении. На страницах, где это объявлено, не описана ни детализированная модель прав доступа, ни бенчмарк, ни число пользователей, ни цена.
Почему это сначала выходит в Китае
Агенты, умеющие работать с компьютером, демонстрируются гораздо чаще, чем выводятся на рынок. Внедрение такого инструмента в массового потребительского ассистента делает управление GUI функцией по умолчанию для обычных пользователей, а не предварительной версией для разработчиков — и выводит его за рамки гонки интеграций инструментов, в которой американские лаборатории соревнуются по числу систем, открывающих модели доступ через API.