최근 에이전트 연구에서 가장 뜨거운 질문 중 하나는 “LLM이 자기가 쓰는 하네스를 스스로 개선할 수 있을까?”입니다. Evo-Bench는 이 질문에 처음으로 체계적인 답을 제시한 벤치마크입니다. 결과부터 말씀드리면, GPT-5.6이 16.6점 개선으로 사람이 만든 전용 하네스(47.5점)에 46.3점까지 근접했고, 범용 태스크에서는 사람 설계를 추월했습니다.
왜 이 벤치마크가 필요했나
기존 에이전트 벤치마크는 모델이 주어진 하네스 안에서 얼마나 잘 수행하는지를 측정합니다. 근데 이렇게 측정하면 “모델이 하네스 자체를 개선하는 능력”과 “모델이 태스크를 푸는 능력”이 섞입니다.
Evo-Bench는 발상을 바꿉니다. 정책 모델(태스크를 수행하는 모델)을 고정하고, 평가 대상 모델(evolver)이 그 하네스 코드를 수정하게 합니다. 이렇게 하면 점수 변화가 순수하게 하네스 개선 능력을 반영합니다.
어떻게 만들었나
아무 태스크나 골라서 점수를 내리면 안 됩니다. 하네스를 바꿔도 점수가 안 바뀌는 태스크는 하네스 개선 능력을 측정할 수 없습니다. 연구진은 이 문제를 “하네스 민감도”로 해결합니다:
- 보조 태스크로 12개의 다양한 하네스를 생성합니다.
- 각 태스크를 12개 하네스로 돌려보고, 태스크 점수와 하네스 품질의 상관계수를 계산합니다.
- 상관계수가 양수인 태스크만 남깁니다 — 하네스가 좋아지면 점수도 올라가는 태스크입니다.
이렇게 해서 2,329개 후보에서 160개 검증용 + 448개 평가용 태스크를 선정했습니다. 3개 도메인(Search, Office, General)에 걸쳐 있습니다.
핵심 결과 — 9개 모델 리더보드
CodeAct 기본 하네스(29.7점)에서 시작해서 20회 수정한 결과입니다:
| 순위 | 모델 | Overall | CodeAct 대비 |
|---|---|---|---|
| 1 | GPT-5.6 Sol | 46.3 | +16.6 |
| 2 | Claude Opus 4.8 | 45.8 | +16.1 |
| 3 | GLM-5.2 | 43.5 | +13.8 |
| 4 | Qwen3.7-Max | 41.5 | +11.8 |
| – | Artificial Harness | 47.5 | – |
도메인별 이야기가 다릅니다
Search에서는 Claude Opus가 +34.8을 기록했습니다. 웹 탐색 로직을 합성하는 데 모델들이 능숙합니다. Office는 정반대입니다. 대부분의 모델이 1~3점 개선에 그치고, 인공 하네스(43.9)에 못 미칩니다. 문서 처리 워크플로를 발견하기 어렵기 때문입니다.
General이 가장 놀랍습니다. GPT-5.6과 Qwen3.7-Max가 각각 59.4점으로, 사람이 만든 하네스(56.3)를 넘었습니다. 자율적으로 진화한 추론 구조가 사람 설계보다 나을 수 있다는 증거입니다.
비용 이야기도 흥미롭습니다
GPT-5.6은 500달러 이상을 쓰고 최고 점수를 냅니다. 반면 GLM-5.2와 Qwen3.7-Max는 40달러 미만으로 비슷한 수준에 도달합니다. DeepSeek-V4-Pro는 1달러 미만으로 기능적 개선에 성공했습니다. 가성비 측면에서는 중국 모델들이 눈에 띕니다.
GPT-5.6이 만든 하네스를 보면
GPT-5.6은 마치 시스템 엔지니어처럼 행동합니다. 도메인별 라우터를 만들고, Search에는 웹 검색 도구와 페이지 클리너를, Office에는 파일별 증거 추적을, General에는 빈 응답 복구와 이메일 가드를 추가했습니다.
근데 한계도 있습니다. 집계 점수에 반응할 뿐 로그에서 근본 원인을 추출하지 못하고, 도메인 간 간섭을 라우팅으로만 회피합니다. 플래너는 수동, 컨텍스트는 append-only, 검증기는 관대합니다.
하네스 개선은 정책 모델에 독립적
재미있는 점은 하네스 개선이 특정 정책 모델에 국한되지 않는다는 것입니다. DeepSeek-V4-Flash 기준으로 만든 하네스를 Qwen3.6이나 GLM-5.2에 적용해도 일관된 개선이 나타납니다. 일반화 가능한 추론 구조를 합성했다는 뜻입니다.
조기 포화와 예산 스케일링
Claude Opus와 GLM-5.2는 초반에 빠르게 좋은 구조를 찾지만 후반에 해로운 수정을 도입합니다. 예산을 24시간에서 48시간으로 늘리면 일관된 향상이 나타납니다.
더 실습해보고 싶은 분들께
마무리
Evo-Bench는 LLM의 하네스 진화 능력을 체계적으로 측정한 최초의 벤치마크입니다. 모델들이 사람 수준의 하네스에 근접했고, 특정 도메인에서는 추월했습니다. 깊은 시스템 최적화와 원인 분석은 다음 과제입니다.