27B 모델이 실기기 모바일에서 92.2%의 성공률을 기록하며 GPT-5.6 Sol(85.4%), Claude Opus 4.8(84.7%), Seed 2.1 Pro(88.7%)를 모두 제쳤다. 컴퓨터 사용(OSWorld)에서는 Opus 4.8(83.4%) 바로 다음인 79.5%, 웹 브라우저(WebArena)에서는 73.6%로 1위. 이것이 Alibaba Qwen 팀이 공개한 Qwen-UI-Agent의 성적표다.
단순한 벤치마크 우위가 아니다. 이 기술보고서가 진짜로 보여주는 것은 “GUI 에이전트가 시뮬레이션을 넘어 실제 기기에서 작동하려면 무엇이 필요한가”라는 질문에 대한 가장 구체적인 답 중 하나다. 실기기 100대 이상의 클러스터, 10,000개 동시 롤아웃 환경, 100턴 이상의 온라인 RL, 알림 기반 프로액티브 서비스 하네스 — 시스템 설계와 인프라까지 포함한 풀스택 접근이 핵심이다.
Q. GUI 에이전트가 “진짜” 되려면 무엇이 바뀌어야 하는가?
Qwen 팀은 여섯 가지 전환점을 식별한다. 이 프레임 자체가 이후 설계의 모든 것을 결정한다:
- 시뮬레이션 → 실기기 실행: 샌드박스에서 잘 작동하는 모델이 실제 폰에서는 팝업, 권한 요청, CAPTCHA, 계정 상태 변화 때문에 무너진다.
- 단일 도메인 → 크로스플랫폼 워크플로우: 모바일, 웹, 데스크톱이 따로가 아니라 하나의 작업이 기기를 넘나든다.
- GUI 단독 → GUI+CLI 하이브리드 배치 액션: 코딩 능력이 좋아진 만큼, CLI 명령을 GUI 클릭과 섞어 쓰면 효율이 폭발한다.
- 단기 작업 → 100턴+ 롱호라이즌: 실제 작업은 수십 단계가 기본이고, 중간에 검증·복구·재계획이 필요하다.
- 수동 파이프라인 → AutoResearch 데이터 플라이휠: 에이전트가 스스로 과제를 만들고, 실패를 분석하고, 다음 반복을 설계한다.
- 반응형 실행 → 프로액티브 서비스: 사용자가 지시할 때까지 기다리지 않고, 알림 같은 신호에서 작업을 유도한다.
이 여섯 가지가 Qwen-UI-Agent의 모든 설계 결정을 관통하는 설계 원칙이다.
Q. 실기기 100대를 에이전트 훈련에 쓴다는 것 — 어떻게?
모바일 GUI 에이전트의 가장 큰 문제는 시뮬레이션-실제 갭(sim-to-real gap)이다. 에뮬레이터는 팝업도 없고, 권한도 이미 허용되어 있고, 네트워크도 안정적이다. 실제 기기는 정반대다.
Qwen 팀은 100대 이상의 실제 Android 기기로 클러스터를 구축하고, 하나의 물리적 기기에서 가상 화면(virtual screen) 메커니즘으로 여러 앱 세션을 동시에 실행한다. 이게 롤아웃 처리량을 약 20배 끌어올린다.
핵심은 폐쇄 루프 환경 거버넌스다:
- 앱 상태 주입으로 초기 환경을 통제
- 헬스 모니터링으로 기기 이상(크래시, 네트워크 끊김) 감지
- 자동 복구로 롤아웃 중단 최소화
- 위험 행위(결제, 메시지 발송 등)에 대한 사용자 개입(takeover) 지원
이 인프라 위에서 MobileWorld-Real이라는 자체 벤치마크(409개 과제, 104개 앱, 7개 도메인)를 돌린다. 인간이 작성한 일상 과제를 실기기에서 실행하는 것이다 — 배달 앱에서 주문 검색, 소셜 미디어에서 콘텐츠 탐색, 시스템 설정 깊숙한 곳까지.
Q. GUI+CLI 하이브리드가 왜 such a big deal인가?
OSWorld-v2에서 Qwen-UI-Agent의 액션을 분석해보면, **CLI 명령이 전체 액션의 55.1%**를 차지한다. GUI 클릭과 CLI 명령이 같은 궤적 안에서 뒤섞인다.
왜 이것이 강력한가? 예를 들어보자. 컴퓨터 사용 과제에서 수십 장의 사진 중 특정 도시의 사진을 찾아야 한다고 하자. 순수 GUI라면 하나씩 열어봐야 한다. Qwen-UI-Agent는 한 줄의 CLI 스크립트로 모든 후보를 하나의 몽타주로 합성한 뒤, 한 번의 시각 검사로 정답을 식별한다. 그리고 다시 GUI로 돌아가 합성과 편집을 마친다.
여기에 **배치 액션(batched action)**이 더해진다. 하나의 모델 턴에서 여러 액션을 순서대로 내보내는 것 —互 호환되는 핫키 시퀀스, CLI 명령 + 대기 같은 조합을 한 번에 처리한다. OSWorld-Verified에서 41% 이상의 액션이 배치 형태로 실행된다.
결과: OSWorld-v2에서 Qwen-UI-Agent는 MiniMax M3보다 17.7% 높은 부분 점수를 기록하면서도, 태스크당 평균 135.8스텝으로 MiniMax M3(326.7스텝)의 절반도 안 쓴다.
Q. 10,000개 동시 환경에서 온라인 RL은 어떻게 돌아가는가?
액션 단위의 정확도(Action RL)만으로는 롱호라이즌 궤적의 끝에 있는 성공 여부를 보장할 수 없다. 50번째 스텝의 액션이 합리적으로 보여도, 80번째 스텝에서 막다른 길로 이어질 수 있다.
Qwen 팀은 두 단계 RL을 설계한다:
Action RL: 액션 단위 정확도
데이터 플라이휠이 수집한 실패 궤적에서 반복 루프, 잘못된 인자, 민감 액션 오류를 타겟팅한다. 보상 함수는 액션 타입 정확도(Ct), 인자 품질(Qt), 민감 액션 페널티(St), 반복 페널티(Lt)를 결합한다.
Online RL: 궤적 단위 의사결정
**GRPO(Group Relative Policy Optimization)**를 사용해 완전한 상호작용 궤적을 최적화한다. 핵심은:
- 10,000개 동시 롤아웃: Alibaba Cloud 위에 모바일·컴퓨터·웹·DeepSearch 샌드박스를 띄워 동시에 환경을 실행
- Task-Verifier 자동 합성: 코딩 에이전트가 각 샌드박스 코드를 분석해 데이터 주입 스킬을 만들고, 일관된 초기 환경 상태를 구축한 뒤, 과제와 검증기를 자동 생성. 약 10,000개의 검증된 task-verifier 쌍이 만들어진다
- 모델 적응형 커리큘럼: 현재 정책으로 전부 실패하거나 전부 성공하는 과제는 학습 신호가 없다. 중간 성공률의 과제를 active pool에, 너무 어려운 과제를 monitoring pool에 배치. 정책이 발전하면 monitoring 과제가 active로 승격된다
이 커리큘럼이 중요한 이유는 “정적 과제 세트로는 안 된다”는 점이다. 모델이 발전하면서 학습 가능한 과제의 경계가 달라지고, 그 경계를 추적하는 동적 시스템이 없으면 롤아웃 컴퓨팅을 낭비하게 된다.
Q. AutoResearch 데이터 플라이휠은 무엇을 자동화하는가?
기존 GUI 에이전트 개발은 사람이 과제를 만들고, 데이터를 라벨링하고, 모델을 훈련하고, 평가하고, 실패를 분석하는 전 과정에 개입한다. Qwen 팀은 이것을 AutoResearch 스타일로 자동화한다:
- 에이전트가 후보 과제를 생성하고 평가
- 실패한 궤적에서 반복 행동, 민감 액션 오류, 탐색 부족 영역을 식별
- 커버리지가 부족한 영역에서 에이전트가 직접 실행 환경을 탐색하고 새로운 과제를 구성
- 수집된 궤적으로 모델을 업데이트하고 다음 반복으로
인간은 주로 감독과 타겟팅된 수정에만 개입한다. 이것이 가능한 이유는 task-verifier 합성이 자동화되어 있기 때문이다 — 검증기 없는 자동 과제 생성은 쓰레기 데이터를 양산할 뿐이다.
Q. 모바일에서 92.2%라는 숫자가 의미하는 것
MobileWorld-Real의 409개 과제는 모두 인간이 작성했고, 중국 모바일 생태계의 실제 앱에서 실행된다. 카테고리는 콘텐츠 소비, 생활 서비스, 생산성, 전자상거래, 시스템 설정, 금융, 소셜 커뮤니케이션까지 7개 영역.
| 모델 | MobileWorld-Real | AndroidDaily |
|---|---|---|
| Qwen-UI-Agent (27B) | 92.2% | 97.5% |
| Seed 2.1 Pro | 88.7% | 95.2% |
| Gemini 3.1 Pro | 86.2% | 93.8% |
| GPT-5.6 Sol | 85.4% | 92.6% |
| Claude Opus 4.8 | 84.7% | 93.0% |
| Qwen 3.7 Plus | 72.7% | 79.8% |
| Kimi K2.6 | 62.6% | 67.6% |
특히 주목할 것은 **MobileWorld(시뮬레이션)에서 82.1%**인 모델이 **실기기(MobileWorld-Real)에서 92.2%**라는 점이다. 일반적으로 실기기가 더 어려운데, Qwen-UI-Agent는 실기기 런타임과 실기기 학습 데이터를 바탕으로 시뮬레이션보다 실기기에서 더 안정적이다. 이것이 “실기기에서 훈련하면 실기기에서 강해진다”는 명제를 데이터로 보여주는 사례다.
평가에는 AutoJudge라는 궤적 수준 평가기를 사용한다. 5명의 독립적인 VLM 심사위원이 전체 궤적(모든 액션과 스크린샷)을 검토하고 pass/failed/env_error 3가지 판정을 내린다. 환경 에러(CAPTCHA, 로그인 만료 등)는 성공률 분모에서 제외한다. 인간 전문가 주석과의 정확도 일치율은 92.8%다.
Q. 컴퓨터 사용과 브라우저에서는 어느 정도인가?
| 모델 | OSWorld-Verified | WebArena |
|---|---|---|
| Claude Opus 4.8 | 83.4% | 71.9% |
| Qwen-UI-Agent (27B) | 79.5% | 73.6% |
| Seed 2.1 Pro | 78.8% | – |
| GPT-5.5 | 78.7% | 69.5% |
| Gemini 3.5 Flash | 78.4% | – |
| Gemini 3.1 Pro | 76.2% | 65.3% |
OSWorld에서 Opus 4.8에 이어 2위. WebArena에서는 1위(인간 78.2%와의 격차 4.6%). 웹 브라우저 벤치마크에서 폐쇄형 최고 모델들을 제치는 결과는 의미가 크다 — 브라우저는 상태 추적과 다단계 네비게이션이 핵심인 영역이기 때문이다.
DeepSearch에서도 의미 있는 결과가 있다. BrowseComp-ZH(중국어)에서 **75.0%**로 2위. 이것은 GUI 에이전트가 단순히 화면을 조작하는 것을 넘어, 정보 검색과 증거 합성을 GUI 워크플로우 안에 통합할 수 있음을 보여준다.
Q. 프로액티브 서비스 하네스가 바꾸는 것
이것이 이 보고서에서 가장 미래지향적인 부분이다. 대부분의 에이전트가 “사용자가 지시할 때까지 기다린다”면, Qwen-UI-Agent의 하네스는 모바일 알림에서 행동 신호를 추출한다.
예시: 항공편 취소 알림이 밤에 도착한다. 일반 에이전트는 사용자가 아침에 “비행기 취소됐어, 다른 편 찾아줘”라고 입력할 때까지 가만히 있는다. Qwen-UI-Agent의 하네스는:
- 알림을 구조화된 이벤트로 파싱
- 관련 일정, 회의, 호텔 예약과 연결(affair 상태)
- 대체 항공편과 기차 옵션 검색
- 사용자 일정과 충돌 여부 확인
- 의사결정이 준비된 제안을 사용자에게 제시
- 실제 예약/변경은 사용자 확인 후 실행
핵심 추상화는 **affair(사안)**다. 이벤트는 “무슨 일이 일어났는지”를 기록하고, affair는 “아무것도 끝나지 않았고 계속 진행 중인 것”을 추적한다. 여행, 구매, 회의, 가족 문제 — 각각이 상태를 가지는 지속적 단위다. 프로필 메모리가 사용자 취향과 관계를 저장하고, 피드백 메모리가 사용자가 제안을 어떻게 받아들였는지(승인, 수정, 거절, 무시)를 학습한다.
크로스플랫폼 실행도 하네스가 담당한다. 모바일에서 영수증 사진을 찾아 선택하고, 데스크톱에서 스프레드시트로 정리하고, 다시 모바일에서 결과를 전송하는 워크플로우가 하나의 세션에서 이어진다. 하네스는 OpenClaw와 유사한 플래너-이그제큐터 구조를 사용하고, 각 기기에 주소가 지정된 액션을 라우팅하며, 독립적인 서브태스크는 병렬로 실행한다.
Q. 그라운딩 능력은?
GUI 그라운딩(화면에서 특정 요소를 찾아 클릭하는 능력)에서도 강력하다:
| 벤치마크 | Qwen-UI-Agent | 최강 경쟁모델 |
|---|---|---|
| ScreenSpot-Pro (zoom-in) | 81.5% | Seed 2.1 Pro 80.7% |
| ScreenSpot-V2 | 97.5% | 여러 모델 96.6% |
| MMBench-GUI L2 | 92.6% | Seed 2.1 Pro 90.9% |
| OSWorld-G-Refined | 78.5% | Qwen 3.7 Plus 78.2% |
| UI-Vision | 70.0% | Qwen 3.7 Plus 68.0% |
특히 UI-Vision과 ScreenSpot-Pro(zoom-in)에서의 우위는 단순 좌표 매칭을 넘어 공간 추론과 기능적 이해가 결합되었음을 시사한다.
Q. 일반 역량은 유지되는가?
GUI 특화 훈련 후 모델의 일반 추론 능력이 떨어지는 것은 흔한 문제다. Qwen 팀은 13개 벤치마크(MMMU-Pro, MMLU-Pro, Terminal-Bench 2.0, Claw-Eval 등)로 평가했다.
결론: Qwen-UI-Agent는 베이스 모델 대비 에이전트 역량은 향상되면서 일반 추론은 비슷하게 유지된다. GUI 특화 모델(GUI-Owl, UI-Venus)들이 일반 벤치마크에서 크게 떨어지는 것과 대조적이다.
이것이 의미하는 것: 하이브리드 액션 공간(특히 CLI)과 온라인 RL이 GUI에만 과적합되지 않고, 일반적인 도구 사용과 추론 역량을 함께 키운다는 점이다. GUI 액션과 CLI 명령이 모두 “도구 사용”의 한 형태이기 때문일 것이다.
Q. 이 보고서가 에이전트 설계에 던지는 시사점
- 실기기 훈련은 선택이 아니다 — 시뮬레이션과 실기기의 갭을 메우는 유일한 방법은 실기기를 훈련 루프에 넣는 것이다. 가상 화면으로 비용을 낮추는 접근은 참고할 만하다.
- CLI 없이 GUI만으로는 비효율적이다 — 모델의 코딩 능력이 충분히 좋다면, CLI를 “가끔 쓰는 대체 수단”이 아니라 정식 액션 공간의 일원으로 설계해야 한다.
- 과제-검증기 자동 합성이 데이터 병목을 푼다 — 10,000개의 task-verifier 쌍을 자동으로 만들 수 없다면, 10,000개 동시 롤아웃 인프라도 소용이 없다.
- 동적 커리큘럼이 필수다 — 정적 과제 세트로는 모델이 발전함에 따라 학습 신호가 사라진다. 정책을 추적하는 커리큘럼 없이는 롤아웃이 낭비된다.
- 하네스가 에이전트의 경험 경계를 결정한다 — 프로액티브 서비스, 크로스플랫폼 상태 유지, 사용자 확인 루프 — 이것은 모델 능력이 아니라 하네스 설계의 문제다.
- 오픈웨이트 27B가 폐쇄형 최고 모델과 경쟁할 수 있다 — 단, 인프라·데이터·훈련 파이프라인이 뒷받침될 때.
더 실습해보고 싶은 분들께
Qwen-UI-Agent가 보여주는 것은 “에이전트 = 모델 + 하네스 + 환경”이라는 사실의 가장 극단적인 증명 중 하나다. 실기기 100대, 10,000개 동시 롤아웃, 자동 과제 합성 — 이 수준의 시스템을 직접 설계하고 운영하고 싶다면, 하네스 설계와 에이전트 루프에 대한 실전 감각이 필요하다.
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스를 실제로 구성하고 자동화 루프를 돌려보는 것부터 시작할 수 있다. 크로스플랫폼 작업, 도구 사용, 컨텍스트 관리까지 실전 예제가 담겨 있다.
- 「모두를 위한 루프 엔지니어링」 — 온라인 RL의 롤아웃 루프, 보상 설계, 커리큘럼 전략을 이 논문의 수준까지는 아니더라도 개념적으로 이해하고 싶다면 추천한다.
Qwen 팀이 공개한 것은 결국 “얼마나 정교하게 루프를 설계하느냐”가 에이전트의 실력을 결정한다는 또 하나의 증거다.