컴퓨터 사용 에이전트(computer-use agent)를 훈련시키는 진짜 병목은 환경의 개수가 아니라 환경의 “깊이”다. Microsoft Research가 발표한 Echoverse는 이 가설을 정면으로 검증한다. 12개의 합성 환경에서 9B 파라미터 모델을 36.5%에서 67.1%로 끌어올렸고, RL을 추가하면 68.0%까지 도달한다. 더 흥미로운 점은 “얕은” 환경이 훈련하지 않는 것보다 더 나쁜 결과를 낸다는 것이다.
문제: 로그인 너머의 세계
웹 에이전트 벤치마크(WebVoyager, Mind2Web, Online-Mind2Web)는 대부분 로그인하지 않은 공개 웹사이트에서 동작한다. 에이전트가 풀어야 할 진짜 작업 — 예약 결제, 이메일 발송, 뱅킹 이체, 건강 기록 수정 — 은 모두 로그인 뒤에 있다. 이 작업들은 (1) 상태를 변경하고, (2) 여러 화면과 사용자에 걸쳐 의존성을 가지며, (3) 성공 여부를 화면이 아닌 데이터베이스에서 판단해야 한다.
실제 웹사이트를 훈련에 쓸 수 없는 이유가 바로 여기에 있다: 리셋이 안 되고, 봇 트래픽을 차단하며, 그라운드 트루스(ground truth) 상태를 노출하지 않는다. 합성 환경(synthetic environment)이 대안이지만, 기존 파이프라인은 “얼마나 많은 환경을 만들 수 있는가”에 집중해 왔다.
Echoverse는 다른 질문을 던진다: 환경 하나가 얼마나 “깊은가?
“깊이”의 정의: 다섯 가지 속성
Echoverse에서 깊이란 기능(feature)의 개수가 아니라 **대상 워크플로우 세트에 대한 완전성(completeness)**이다. 논문은 다섯 가지 구조적 요구사항을 정의한다:
- 제어·권한·오류의 충실도 (Control & Permission Fidelity): 실제 제품의 비즈니스 로직을 따라야 한다. 예약 시 guest count를 바꾸면 가격이 바뀌어야 하고, 권한이 없는 사용자는 버튼이 보이지 않아야 한다.
- 교차 행위자 상태 (Coherent Cross-Actor State): 한 사용자가 보낸 메시지가 다른 사용자의 받은 편지함에 나타나야 한다. 상태는 화면이 아니라 데이터베이스에 있다.
- 워크플로우 의존성 (Workflow Dependency): 이른 선택이 나중의 옵션을 제한해야 한다. 항공편을 고르지 않고 좌석을 선택할 수 없어야 한다.
- 그라운드 가능한 검증 (Groundable Verification): 성공을 픽셀이 아닌 데이터베이스 상태로 판단할 수 있어야 한다. SQL diff, 라운드 트립 쿼리, 엔티티 수준 비교.
- 능력 타겟팅 (Capability Targeting): 에이전트가 실제로 실패하는 인터랙션에 맞춰져야 한다. 존재하지 않는 기능을 테스트하는 것은 의미가 없다.
이 다섯 가지는 주장이 아니라 **기계적으로 검증 가능한 클레임(machine-checkable claims)**으로 변환된다. 환경은 이 클레임이 95% 이상 통과할 때까지 수리된다.
Echoverse 팩토리: 환경을 “컴파일”하다
전체 파이프라인은 두 단계로 구성된다.
Phase 1: 환경 구축
손으로 작성한 시드(seed)를 구조화된 명세로 확장하고, 명세를 기계 검증 가능한 클레임으로 변환한다. 그 다음 FastAPI + SQLite 백엔드와 React 프론트엔드를 가진 애플리케이션을 생성한다. 검증 에이전트가 모든 클레임을 테스트하고, 실패를 레이어별(데이터베이스, 백엔드, 프론트엔드)로 진단하여 수리한다.
핵심은 **에이전트 워크포스(agent workforce)**다. 각 단계가 고정 스크립트가 아니라 GitHub Copilot SDK 에이전트에 의해 수행된다:
- Builders: 스키마, 백엔드 라우트, 프론트엔드, 태스크 코퍼스를 생성
- Verifiers: 명세 및 품질 기준으로 검증
- Triagers: 전체 월드에서 공통 원인을 가진 실패를 그룹화
- Fixers: 레이어별 디버깅, 수리, 회귀 테스트
Phase 2: 태스크 코퍼스 성장
라이브 데이터베이스에서 태스크를 생성한다. “이 호텔의 3월 둘째 주 요금은?” 같은 질문에 대해, 정답을 실제 DB 쿼리 결과로 생성한다. 화이트박스 검증 에이전트가 Playwright로 인터페이스를 직접 조작하면서 소스 코드와 DB를 읽어, 태스크가 실제로 풀 수 있는지 확인한다.
중요한 원칙: 태스크 난이도를 낮춰서 통과율을 올리지 않는다. 수리는 환경, 태스크 텍스트, 검증기를 대상으로 하되, 요구사항을 약화시키는 변경은 회귀로 간주한다.
10개 도메인 + 2개 능력 월드
Echoverse는 열 개의 풀 도메인(full-domain) 환경과 두 개의 능력(capability) 환경을 구축했다.
| 도메인 | 워크플로우 유형 |
|---|---|
| EchoMail | 커뮤니케이션 (메일, 스레드, 라벨) |
| EchoCalendar | 일정 관리 |
| EchoChat | 메시징 |
| EchoML | ML 콘솔 |
| EchoForge | 코드 호스팅 |
| EchoBank | 뱅킹 |
| EchoCare | 헬스케어 |
| EchoForum | 커뮤니티 |
| EchoTunes | 음악 스트리밍 |
| EchoStay | 숙박 예약 |
EchoStay는 InsideAirbnb 실데이터로 시드되었으며, 87개 라우트와 23개 테이블에 걸쳐 검색→리스팅→예약→결제 플로우를 지원한다. EchoForum은 255만 댓글의 공개 포럼 코퍼스 위에 구축되었다.
능력 월드(Capability Worlds): 하나의 컨트롤을 100가지로
에이전트가 특정 컨트롤에서만 실패한다면? 데이트피커(date picker)를 못 다루는 데 전체 예약 사이트를 하나 더 만드는 건 비효율적이다. Echoverse는 그 컨트롤을 분리하여 100개의 다른 렌더링으로 양산한다.
- 데이트피커 월드: 6가지 코어 위젯 × 10개 컨텍스트 = 100개 프론트엔드, 홀드아웃 10개 위젯 × 36개 시나리오 = 80개 프론트엔드. “3월의 마지막 목요일”이나 “시작일로부터 10 영업일 후” 같은 추론형 태스크 포함.
- 중첩 필터 월드: 20개 위젯 패밀리 × 200개 프론트엔드, 홀드아웃 9개 패밀리 × 100개 프론트엔드. 모든 제출은 필터링 결과가 실제 조건을 만족하는지 애플리케이션 로직으로 판단.
핵심 발견 1: 얕은 환경은 훈련 안 한 것보다 나쁘다
Echoverse의 가장 파괴적인 발견. WebVoyager의 Allrecipes와 Hugging Face 도메인에서 세 가지 체크포인트를 비교했다:
- Base (π_base): 훈련하지 않은 Qwen3.5-9B
- π_shallow: 얕은 환경에서 훈련
- π_deep: 깊은 환경에서 훈련
결과가 충격적이다:
| 도메인 | Base | π_shallow | π_deep |
|---|---|---|---|
| Allrecipes | 80.0 | 75.0 ↓ | 85.0 ↑ |
| Hugging Face | 48.0 | 48.0 (정체) | 65.0 ↑ |
얕은 환경이 모델을 퇴화시킨다. 얕은 환경은 “외형적으로 옳아 보이는 클릭”만 반복하게 만들어서, 에이전트가 실제로는 작동하지 않는 행동을 “성공”으로 학습하게 된다. 깊은 환경의 궤적은 의존적 구조를 가지기 때문에 전이(transfer)가 된다.
핵심 발견 2: 9B 모델이 36.5% → 67.1%로
전체 12개 환경에서 21,009개의 검증된 궤적으로 SFT한 결과:
14개 평가 스플릿(10개 도메인 + 2개 능력 × in-distribution/hold-out)에서 π_SFT는 **평균 67.1%**를 기록했다. GPT-5.4가 81.1%이므로 격차는 14점. 특히 EchoMail, EchoBank, 중첩 필터(in-dist)에서는 GPT-5.4와 동등하거나 능가한다.
주목할 점: 이 성과의 원동력은 데이터의 양이 아니라 깊이와 다양성이다. 9B 모델이 훨씬 더 큰 교사 모델(GPT-5.4)의 궤적을 증류받았지만, 검증된(verifier-filtered) 궤적만 사용했다는 것이 핵심이다.
핵심 발견 3: 능력 훈련은 서로를 강화한다
데이트피커와 중첩 필터, 각각을 개별 훈련 vs 동시 훈련:
- 데이트피커만 훈련 → 홀드아웃 필터가 62.8 → 82.1로 상승
- 필터만 훈련 → 홀드아웃 데이트피커가 34.0 → 50.7로 상승
- 둘 다 훈련 → 모든 스플릿에서 최고 성능
두 스킬이 경쟁하지 않고 상호 강화된다는 것은, 에이전트가 “레이아웃”이 아니라 “규칙”을 배우고 있음을 보여준다. 오픈 웹(Online-Mind2Web)에서도 29.5 → 34.3으로 전이되었다.
핵심 발견 4: 환경 다양성이 궤적 양보다 중요하다
가장 실용적인 발견 중 하나:
- 궤적 수를 늘리면: 합성 환경 평균은 계속 오르지만, WebVoyager/Online-Mind2Web 전이는 포화(saturate)한다. 6,400 → 20,000 궤적에서 WebVoyager는 54.8 → 55.6으로 정체.
- 환경 수를 늘리면: 합성 평균과 실제 웹 전이가 둘 다 오른다.
메시지는 명확하다: 일반화(generalization)의 레버는 궤적 볼륨이 아니라 환경 다양성이다.
핵심 발견 5: 환경 자체가 학습한다 (공동 진화)
EchoStay에서 guest-count 컨트롤이 조용히 망가져 있었다. 올바른 예약이 등록되지 않는 것이다. 이를 수리하자:
- 예약 가능한 태스크 비율: 48% → 78% (24개 중 15개 복구)
- 모델 성능: 16.2% → 38.5% (GPT-5.4의 50.4%와의 격차를 2/3로 좁힘)
이것이 “공동 진화(co-evolution)“의 핵심이다: 같은 평가된 롤아웃이 모델의 훈련 데이터가 되는 동시에, 환경 결함의 진단이 된다. 모델만 개선하는 것이 아니라 환경도 개선한다. 정적 벤치마크는 포화되지만, 이 루프는 복리(compound)로 작동한다.
RL: 모방의 한계를 넘어서
SFT(감독 학습)는 교사 모델(GPT-5.4)의 궤적만 복사할 수 있다. 교사가 저지르는 실수만 회복하는 법을 배울 뿐, 9B 모델 자신이 저지르는 실수 — 컨트롤을 못 읽거나, 같은 행동을 반복하거나, 너무 일찍 종료하는 — 는 다루지 못한다.
Echoverse가 RL 환경이 될 수 있는 이유
실제 웹은 RL 요구사항(정확한 리셋, 높은 처리량, 신뢰할 수 있는 보상)을 전혀 충족하지 못한다. Echoverse는 설계에 의해 모든 요구사항을 충족한다:
| 요구사항 | 실제 웹 | Echoverse |
|---|---|---|
| 정확한 리셋 | 불가 | 태스크별 DB 복사 |
| 처리량 | 제한/차단 | 무제한 |
| 그라운드 트루스 | 없음 | DB 상태 |
| 안정성 | 페이지 변경 | 고정 |
| 보상 신뢰 | 판단 기반 | DB 라운드트립 |
방법: 그룹 상대 정책 그래디언트 + 이중 보상
GRPO(group-relative policy gradient)를 사용하며, 각 롤아웃은 두 가지 보상을 받는다:
- 궤적 보상(trajectory reward): DB-grounded 검증기의 최종 판정. GPT-4.1이 관찰된 결과와 DB 참조값을 비교.
- 밀집 단계 보상(dense per-step reward): 각 턴에서 행동이 실제로 효과를 냈는지(상태 변화, 진전) GPT-4.1 vision이 판정. 반복, 루프, no-op은 0점.
중요한 설계: 궤적 판정이 틀리면 마지막 단계의 밀집 보상을 0으로 강제하여, 과정 보상이 결과를 대체하지 못하게 한다. 검증 점수는 순수한 결과(outcome)만으로 계산된다.
RL 결과: 58.8% → 68.0%
5개 환경(EchoBank, EchoForge, EchoForum, EchoStay, EchoTunes)에서 RL을 수행한 결과, 홀드아웃 judged score가 **58.8% → 68.0%**로 상승했다. 그룹 사이즈 8, 16 프롬프트/스텝, 총 50 스텝(약 2 에포크)이다.
의미와 시사점
”환경이 곧 보상이다”
Echoverse의 가장 중요한 철학적 기여는 상태 공간을 픽셀이 아닌 데이터베이스로 정의한 것이다. 이 단 하나의 결정이 모든 것을 가능하게 만든다:
- 정확한 리셋: DB 복사 한 장이면 끝
- 그라운디드 보상: SQL diff가 진실
- RL 전제조건: 라이브 웹이 충족 못 하는 것을 설계로 해결
공동 진화 = 복리 효과
기존 파이프라인은 “환경 구축 → 모델 훈련”의 선형 구조다. Echoverse는 이를 루프로 만든다: 모델 실패가 환경 결함을 드러내고, 환경 수리가 더 날카로운 훈련 신호를 만든다. 정적 벤치마크는 포화되지만, 공동 진화 루프는 계속해서 새로운 능력 갭을 노출한다.
”얕은 환경이 위험하다”는 발견의 실무적 의미
합성 환경을 빠르게 양산하는 파이프라인이 유행이지만, 겉보기에 그럴싸해도 워크플로우 의존성이 없는 환경은 모델을 퇴화시킨다. 이는 벤치마크 숫자를 올리면서 실제 성능은 깎아먹는 그린랜드식 함정이다. “환경 품질 > 환경 수량”이라는 결론은 명시적으로 측정되었다.
한계
- 교사 모델(GPT-5.4)에 의존하는 SFT 한계가 존재한다
- 10개 도메인은 실제 웹의 다양성에 비하면 여전히 좁다
- RL은 5개 환경에서만 수행되었다
- 실제 웹 전이(WebVoyager, Online-Mind2Web) 개선은 있지만 크지 않다
더 실습해보고 싶은 분들께
에이전트 환경 구축, RL 훈련 루프, 그리고 “깊이”를 가진 합성 환경 설계는 단순한 벤치마크 숫자 놀음이 아닙니다. 실제로 에이전트가 실패하는 지점을 찾고, 그 실패를 학습 신호로 바꾸는 루프 엔지니어링의 영역입니다. 이 논문이 보여주는 “공동 진화” 사고방식은 에이전트 하네스(harness) 설계와 컨텍스트 엔지니어링의 핵심 원리와 직결됩니다.
이런 루프 설계와 에이전트 자동화를 직접 실험해보고 싶다면 다음 두 가지를 추천합니다:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 루프와 자동화를 실제로 구성해보는 실습 가이드
- 「모두를 위한 루프 엔지니어링」 — 에이전트 훈련 루프와 최적화의 원리를 체계적으로 배우는 강의
Paper: Echoverse: Deep, Evolving Environments for Training Computer-Use Agents at Scale (Microsoft Research, 2026) Code: https://aka.ms/echoverse