ByteDance는 8월 18일, Doubao의 업무 태스크 모드에 Windows 클라이언트용 Virtual Desktop이 추가돼 어시스턴트가 화면을 보고 임의의 애플리케이션 전반에서 마우스와 키보드를 조작할 수 있게 됐다고 발표했다. 사용자는 업무 태스크 모드를 선택한 뒤 로컬 컴퓨터를 고르고, 스킬 바에서 "operate computer"를 선택한 다음 권한을 부여하면 된다.
ByteDance가 밝힌 작동 방식
회사는 이를 일반적인 GUI 기능 위에서 작동한다고 설명한다. 豆包虚拟桌面基于GUI能力运行，即使没有MCP、API、插件或CLI，也能直接识别软件界面并完成操作 — MCP 서버, API, 플러그인 또는 명령행 인터페이스가 없더라도 소프트웨어 인터페이스를 직접 인식해 작업을 완료할 수 있다는 뜻이다. 차별점도 분명히 제시했다. 虚拟桌面运行时不会占用用户当前正在使用的鼠标和键盘，也不会打断现有工作 — 실행 중에도 사용자가 현재 쓰고 있는 마우스와 키보드를 점유하지 않으며, 기존 작업을 방해하지 않는다는 설명이다. 사용자는 진행 과정을 실시간으로 보고, 일시 중지하거나 직접 넘겨받을 수 있다. 회사가 든 예시는 로컬 폴더의 이력서를 후보자 등록 시스템으로 옮기는 작업이다.
흔한 해석이 놓치는 점
이미 두 가지 오해가 퍼지고 있다. 첫째는 이것을 하루 앞서 출시된 다른 Doubao 기능, 즉 휴대폰-PC 원격 제어와 혼동하는 것이다. 두 기능은 연속된 이틀에 각각 별도로 공개됐다. 둘째는 "virtual desktop"을 클라우드 VM으로 읽는 해석이다. 이는 사용자의 자체 Windows 머신에서 동작하는 격리된 세션으로 설명되며, 바로 그렇기 때문에 마우스와 키보드 관련 특성을 굳이 명시해야 한다. 클라우드 샌드박스라면 애초에 로컬 입력 장치와 경쟁할 이유가 없기 때문이다.
연동 부재는 단순한 기능이 아니라 보안 태세다
"MCP도, API도, 플러그인도 없다"는 말은 지원 범위에 대한 과시로 제시되며, 실제로도 화면 픽셀과 클릭만으로는 통합 인터페이스가 전혀 없는 소프트웨어까지 일반화할 수 있다. 그러나 이는 동시에 에이전트가 로그인한 Windows 사용자가 가진 모든 권한을 하나의 사전 승인으로 이어받는다는 뜻이기도 하다. 이를 발표한 어떤 페이지에서도 세분화된 권한 모델은 설명되지 않았으며, 벤치마크, 사용자 수, 가격 역시 제시되지 않았다.
왜 중국에서 먼저 출시됐나
컴퓨터 사용 에이전트는 시연은 많이 됐지만 실제 출시된 사례는 훨씬 적다. 이를 대중용 소비자 어시스턴트에 넣으면 GUI 제어가 일반 사용자를 위한 기본 기능이 되며, 개발자용 미리보기 단계에서 벗어나게 된다. 또한 이는 도구 연동 경쟁 전체를 우회한다. 미국 연구소들은 얼마나 많은 시스템이 모델에 API를 노출하는지를 두고 경쟁하고 있다.