논문: AgentGym2: Benchmarking Large Language Model Agents in De-Idealized Real-World Environments 저자: Zhiheng Xi, Dingwen Yang, Jiaqi Liu, Jixuan Huang, et al. 소속: Fudan University, Zhejiang University, Shanghai Jiaotong University, Peking University, CAMEL-AI.org 학회: ACL 2026 (Main Conference) 코드/데이터: github.com/hotdog-zz/Agentgym2
핵심 요약
당신의 AI 에이전트가 벤치마크에서 90점을 받았다. 하지만 실제 환경에 배포하면 40점으로 추락한다. 왜?
AgentGym2는 이 간극의 원인을 명확히 지목한다: 기존 벤치마크가 너무 “친절”했다. 미리 포장된 도구, 깨끗한 입력, 생략된 중간 단계—이 모든 것이 현실의 복잡함을 숨겼다.
| 차원 | 기존 벤치마크 | AgentGym2 |
|---|---|---|
| 도구 | 사전 선택된 전용 도구 | 범용 도구 박스 + 스스로 발견 |
| 입력 | 깨끗하고 완전한 지시 | 잡음, 모호성, 불완전 정보 |
| 과정 | 단편적 작업 | End-to-end 전체 파이프라인 |
| 환경 | 시뮬레이션 | 실제 인터넷·파일 시스템 |
| 방해 요소 | 없음 | 의도적 주입 (distractors) |
GPT-5가 약 44%, Claude Sonnet 4.5가 약 37%—최첨단 모델조차 현실 과제 앞에서는 속수무책이다.
”이상화된(De-Idealized)” 환경이란?
기존 에이전트 벤치마크의 문제를 이해하기 위해, 하나의 비유를 들어보자.
요리 시험을 상상해 보자. 기존 벤치마크는 재료가 미리 다져져 있고, 레시피가 정확히 주어지며, 도구가 지정된 자리에 놓여 있는 “요리 교실”과 같다. AgentGym2는 냉장고에 뭐가 있는지 확인하고, 도구를 서랍에서 찾고, 레시피를 스스로 검색해야 하는 “진짜 주방”이다.
기존 벤치마크가 놓치는 3가지
-
도구 발견(Tool Discovery): 필요한 도구가 처음에 주어지지 않는다. 에이전트가 환경을 탐험하며 무엇을 사용할 수 있는지 스스로 찾아야 한다.
-
End-to-end 데이터 분석: 데이터 클리닝부터 분석까지 전체 파이프라인을 수행해야 한다. 중간 단계가 미리 해결되어 있지 않다.
-
잡음과 방해 요소(Distractors): 검색 쿼리에 잡음이 섞여 있고, 데이터 파일에 관련 없는 내용이 끼어 있다. 현실의 “지저분함”이 그대로 반영된다.
AgentGym2의 설계
5개 핵심 도구 카테고리
AgentGym2는 에이전트에게 27개 이상의 액션을 지원하는 범용 도구 박스를 제공한다:
| 카테고리 | 예시 도구 |
|---|---|
| 웹 브라우징 | 페이지 탐색, DOM 조작, 스크린샷 |
| 정보 검색 | 검색 엔진, 데이터베이스 쿼리 |
| 파일 처리 | 읽기/쓰기, 변환, 압축 해제 |
| 멀티모달 이해 | 이미지 분석, OCR, 차트 해석 |
| 코드 실행 | Python 런타임, 셸 명령 |
핵심은 이 도구들이 특정 작업에 맞춰져 있지 않다는 점이다. 에이전트는 주어진 도구 박스에서 필요한 도구를 스스로 찾고, 조합해야 한다.
3가지 핵심 시나리오
- 복잡한 도구 사용 (Complex Tool Use): 여러 도구를 조합해야 하는 다단계 작업
- 데이터 분석 (Data Analysis): 데이터 수집부터 클리닝, 분석까지 전체 파이프라인
- 심층 검색 (Deep Search): 인터넷 전체를 탐색하는 복잡한 정보 요구
27개 이상의 도메인
GitHub, Reddit, Kaggle 등 실제 플랫폼에서 수집된 사용자 요청을 기반으로, 경제·산업, 수학·기술, 자연과학, 인문사회 등 27개 이상의 도메인에 걸쳐 있다.
실험 결과: 충격의 현실
15개 모델 대규모 평가
| 모델 | 유형 | 전체 성능 |
|---|---|---|
| GPT-5 | 클로즈드 | ~44% |
| Claude Sonnet 4.5 | 클로즈드 | ~37% |
| Nex-N1-671B | 오픈소스 | post-training으로 +10.53% 향상 |
| Nex-N1-32B | 오픈소스 | post-training으로 +9.16% 향상 |
GPT-5와 Claude Sonnet 4.5조차 절반도 채 못 푸는 현실이다.
핵심 발견
1. 파라미터 스케일링은 효과가 있다 모델 크기가 커질수록 성능이 일관되게 향상된다. 32B → 671B로 갈수록 유의미한 성능 증가가 관찰되었다.
2. 상호작용 라운드 증가는 “스케일링”하지 않는다 더 많이 대화한다고 더 나은 결과가 나오지 않는다. 이는 단순히 “더 생각하게 하는” 프롬프트 엔지니어링의 한계를 보여준다.
3. 잡음에 대한 취약성 검색 쿼리에 잡음을 주입하자, Claude Sonnet 4.5는 6.4%, GPT-5는 7.4% 성능이 하락했다. 현실의 “지저분한” 질문에 에이전트가 얼마나 취약한지 보여주는 증거다.
4. Post-training의 힘 Nex-N1 시리즈는 강력한 에이전트 post-training을 통해 베이스 모델 대비 최대 10.53% 향상을 달성했다. 에이전트 특화 훈련이 중요함을 시사한다.
실패 패턴 분석
AgentGym2는 에이전트의 반복적인 실패 패턴도 분석했다:
- 불충분한 탐험(Insufficient Exploration): 에이전트가 환경을 충분히 탐색하지 않고 premature하게 답변을 시도
- 환각(Hallucination): 존재하지 않는 도구나 정보를 사용하려 시도
- 도구 조합 실패: 개별 도구는 사용할 줄 알지만, 여러 도구를 조합하는 데 실패
시사점
에이전트 개발자에게
- 벤치마크 점수에 속지 마라: 이상화된 환경에서의 90%가 현실에서의 40%를 의미할 수 있다.
- 도구 발견 능력을 키워라: 에이전트가 스스로 환경을 탐험하고 도구를 찾는 능력이 핵심이다.
- 잡음에 강하게: 현실의 데이터는 지저분하다. 이에 대한 로버스트함이 필수다.
연구자에게
- 평가 방법론의 전환: 시뮬레이션 → 현실 환경으로의 전환이 시급하다.
- 스케일링의 방향: 모델 크기뿐 아니라, post-training과 에이전트 아키텍처 개선이 병행되어야 한다.
- 탐험-활용 트레이드오프: 에이전트가 언제 탐험하고 언제 활용해야 하는지에 대한 더 깊은 연구가 필요하다.
결론
AgentGym2는 단순한 새 벤치마크가 아니다. 현재 LLM 에이전트 평가 생태계에 대한 근본적인 질문을 던진다: “우리는 진짜 현실을 측정하고 있는가?”
GPT-5가 44%라는 숫자는 겸손해야 할 이유이자, 동시에 더 나아져야 할 방향을 가리킨다. 에이전트가 “요리 교실”을 벗어나 “진짜 주방”에서 살아남아야 할 때다.
이 글은 AgentGym2 논문(arXiv:2607.05174, ACL 2026)을 기반으로 작성되었습니다.