개요
EvolveNet(arXiv:2608.04968)은 분산된 에이전트 배포 환경에서 하네스 진화를 수행하는 협업 프레임워크를 제안합니다. 기존 하네스 진화 연구가 중앙 집중식 옵티마이저를 가정한 반면, EvolveNet은 데이터가 분산된 환경에서 각 클라이언트가 로컬로 하네스를 진화시키고, 서버가 프로그램 수준에서 그 결과를 집계하는 구조를 취합니다. 모델 가중치는 고정된 채로 하네스 코드만이 적응의 대상입니다.
배경 및 문제 정의
LLM 에이전트의 성능은 모델 자체뿐 아니라 하네스 — 컨텍스트 구성, 도구 호출, 결과 검증, 실패 복구를 담당하는 실행 프로그램 — 에 의해 크게 좌우됩니다. 동일한 모델이라도 하네스가 다르면 상이한 성능을 보입니다. 이에 따라 하네스 자체를 진화시키는 연구가 활발히 진행되어 왔으나, 대부분 중앙 집중식 패러다임을 따릅니다 — 모든 워크로드, 실행 궤적, 행동 피드백을 단일 옵티마이저가 처리하는 방식입니다.
현실에서는 데이터가 조직, 사용자, 환경에 걸쳐 분산되어 있으며, 워크로드를 중앙으로 이동시키는 것이 불가능하거나 바람직하지 않은 경우가 많습니다. 또한 순차적 진화는 탐색 깊이가 길어지는 효율성 문제가 있습니다.
EvolveNet 프레임워크
전체 구조
EvolveNet은 라운드 기반으로 동작합니다. 각 라운드 t에서:
- Broadcast — 서버가 공유 하네스 h^(t)를 모든 K개 클라이언트에게 전달
- Local evolution — 클라이언트 k가 로컬 워크로드 D_k^tr에서 하네스를 진화시켜 h_k^(t)를 생성
- Aggregate — 서버가 클라이언트별 프로그램 델타를 집계하여 새 공유 하네스 h~^(t+1)을 생성
- Gate — 검증 슬라이스에서 행동 비교 후 채택 또는 롤백
프로그램 집계의 기술 과제
모델 가중치와 달리 소스 코드는 벡터 공간에 존재하지 않으므로 좌표별 산술 연산으로 합칠 수 없습니다. EvolveNet은 이 문제를 evidence-guided, scope-typed program aggregation으로 해결합니다.
각 클라이언트의 델타를 mechanism 단위로 분해하고, 각 mechanism에 global 또는 home(domain) scope를 할당합니다. Global mechanism은 모든 입력에 적용되고, home mechanism은 해당 도메인 조건 하에서만 활성화됩니다. 집계 후보는 검증 슬라이스에서 per-item 행동 비교를 통해 게이트됩니다.
Figure 1: 종래식 순차 진화(좌)와 EvolveNet의 분산 진화(우) 구조 비교.
행동 증거와 게이트
각 클라이언트는 로컬 진화 시 새로 해결한 문제 집합(F)과 망가뜨린 문제 집합(B)을 보고합니다. 서버의 집계 후보도 동일한 방식으로 검증됩니다 — 고친 아이템 수가 망가뜨린 수보다 적으면 롤백합니다. 한 번 리비전을 허용하고, 그래도 실패하면 이전 하네스로 복원됩니다.
실험 결과
5개 벤치마크에서 평가했습니다: BIRD(text-to-SQL), DS-1000(데이터사이언스 코딩), LiveCodeBench(경쟁 프로그래밍), SWE-bench Verified(소프트웨어 엔지니어링), ClawEval(에이전트 워크플로우).
| 벤치마크 | 진화 전 | EvolveNet | 개선폭 | p-value |
|---|---|---|---|---|
| BIRD | 57.3% | 70.7% | +13.4 | 5.4e-4 |
| DS-1000 | 55.5% | 68.5% | +13.0 | 6.2e-6 |
| LiveCodeBench | 33.3% | 66.7% | +33.4 | 2.0e-3 |
| SWE-bench Verified | 37.5% | 57.5% | +20.0 | 0.021 |
| ClawEval | 65.8% | 74.1% | +8.3 | 0.022 |
5개 비교 모두 Holm 보정 후에도 통계적으로 유의합니다.
라우팅과 합병의 구분
“분산된 전문가를 도메인별로 dispatch하는 것과 무엇이 다른가”라는 질문에 대해, DS-1000에서 네 가지 집계 규칙을 동일한 클라이언트 스냅샷에 적용하여 비교했습니다.
Table 2: DS-1000 라이브러리별 정활도(%).
Select-best(집계 없음) 59.5%, Delegation(도메인별 dispatch) 64.0%, GLOBAL-only merge 66.5%, EvolveNet(scope-typed merge) 68.5%입니다. 합병이 순수 라우팅을 4.5점 앞서며, 이는 전역 메커니즘 승격이 주된 이익임을 보여줍니다.
경험 축적 측정
DS-1000에서 5개 클라이언트가 새로 해결한 문제의 합집합 20개 중 합쳐진 하네스가 18개를 유지 — 90% 보존율을 기록했습니다. 한 클라이언트만 푼 문제도 합병 후 유지됩니다.
중앙 집중식과의 비교
BIRD에서 동일 예산으로 비교했습니다. 5개 병렬 브랜치를 허용한 중앙 집중식이 67.3%, EvolveNet이 70.7%였습니다. 분산 탐색이 동일 예산에서 더 효율적이라는 결과입니다.
모델 독립성
전체 모델 스택을 deepseek-v4-flash에서 MiMo-V2.5로 교체하여 전체 파이프라인을 반복했습니다. 정성적 패턴이 동일하게 재현됩니다 — 큰 개선이 채택되고, 유해한 합병이 게이트에 의해 거부되며, 최종 하네스가 기준선을 앞섭니다.
한계
- T≤3 라운드, K≤7 클라이언트 범위에서만 검증되었습니다.
- 라벨이 있는 검증 데이터가 필요합니다 — 완전히 라벨 프리인 설정이 아닙니다.
- 하네스가 3라운드에 14줄→409줄로 증가하며, 이를 제어하는 사이즈 게이트가 현재 없습니다.
- 데이터 국소성은 보장하는데 반해 프라이버시 보장은 아닙니다 — 코드에 클라이언트 정보가 인코딩될 수 있습니다.
결론
EvolveNet은 하네스 진화를 분산 환경으로 확장하는 최초의 프레임워크입니다. 핵심 기여는 scope-typed program aggregation으로, 독립적으로 수정된 프로그램을 행동 증거 기반으로 합치는 방법을 제공합니다. 5개 벤치마크에서 일관된 개선을 보였으며, 순수 라우팅이 아닌 진짜 composition이 효과의 원인임을 실험으로 입증했습니다.