코난쌤 블로그

OmniaBench: 범용 AI 에이전트의 진짜 한계를 측정하다

9 min read

원논문: Chengyu Shen, Yujie Fu, Gangtao Xin, et al. “OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios.” arXiv:2607.14989, 2026.

핵심 요약

LLM이 텍스트 생성기를 넘어 도구를 호출하고 복잡한 작업을 수행하는 범용 에이전트로 진화하고 있다. 하지만 기존 벤치마크는 좁은 도메인이나 단일 상호작용 형식에 치우쳐 있었다. OmniaBench는 ToC·ToB·ToE를 아우르는 90개 대분류·354개 소분류 도메인에서 1,431개 과제를 구성하고, 10차원 역량 분류와 8가지 원자적 난이도 요인을 결합하여 에이전트의 진짜 능력 경계를 진단한다.

왜 새로운 벤치마크인가

기존 에이전트 벤치마크는 대개 특정 도메인(웹 탐색, 코딩, 터미널 사용 등)이나 특정 도구 생태계에 국한되어 있다. 이런 벤치마크는 “이 모델이 SWE-Bench를 잘 푸는가?”라는 질문에는 답하지만, **“이 에이전트가 사용자의 요청을 이해하고, 다양한 도구를 호출하고, 제약을 유지하며, 오류를 수정할 수 있는가?”**라는 더 근본적인 질문에는 답하지 못한다.

OmniaBench가 출발하는 질문은 이것이다:

“범용 에이전트의 능력을 이질적 응용 설정 전반에 걸쳐 체계적으로 특성화할 수 있는가?”

설계 구조: 3축 분류 체계

Figure 2: OmniaBench 개요 — 주요 구성 요소

OmniaBench는 세 개의 축으로 구성된다:

1. 시나리오 분류 (Scenario Taxonomy)

앱스토어, 제품 문서, 산업 자료, 웹 검색, 인간 정제를 거쳐 계층적 도메인 분류를 구축했다:

  • ToC (To Consumer): 일반 소비자 대면 서비스 — 쇼핑, 여행, 엔터테인먼트 등
  • ToB (To Business): 기업 대면 서비스 — CRM, 재무 분석, 공급망 등
  • ToE (To Enterprise): 내부 엔터프라이즈 워크플로우 — 데이터 파이프라인, 인사 관리 등

90개 대분류 도메인과 354개 소분류 도메인으로 세분화된다.

2. 데이터 구축 파이프라인

Figure 4: 데이터 구축 파이프라인 개요

네 가지 보완적 경로로 과제를 합성한다:

  • DAG: 지식 그래프에서 유도한 방향성 비순환 그래프 기반 과제 생성
  • DAG-S: DAG 구조에서 시드 기반 확장
  • Solver: 기존 솔버 솔루션을 역으로 활용한 과제 역추적
  • Program: 프로그램적 합성으로 엣지 케이스 보강

3. 10차원 역량 분류

에이전트 능력을 단일 점수가 아니라 10개의 독립적 역량으로 분해한다:

  1. 지시 이해 (Instruction Understanding)
  2. 계획 (Planning)
  3. 도구 사용 (Tool Use)
  4. 제약 유지 (Constraint Maintenance)
  5. 적응적 수정 (Adaptive Correction)
  6. 컨텍스트 이해 (Context Understanding)
  7. 다중 단계 추론 (Multi-step Reasoning)
  8. 출력 형식 준수 (Output Format Compliance)
  9. 오류 처리 (Error Handling)
  10. 도메인 지식 (Domain Knowledge)

리더보드: 최강 모델도 60점 근처

Figure 1: OmniaBench 챌린징 세트 리더보드

가장 놀라운 결과는 최전선 모델들조차 Overall Pass@1 60점 미만에 그친다는 것이다:

  • Claude-Sonnet-5: 58.54%
  • GPT-5.6-Sol: 57.14%
  • 기타 모델들은 더 낮은 점수를 기록

이는 범용 에이전트가 풀어야 할 과제 공간이 기존 벤치마크가 커버하던 것보다 훨씬 넓다는 것을 보여준다.

Figure 3: 도메인별·역량별 성능 분포

주요 발견

1. 계획·제약 유지·적응적 수정이 약하다

Figure 5: 역량 프로파일 및 점수 분석

10차원 역량 분석에서 일관되게 낮은 점수를 기록한 영역은 세 가지다:

  • 계획 (Planning): 다단계 과제에서 중간 목표를 올바르게 분해하지 못함
  • 제약 유지 (Constraint Maintenance): 과제 초기에 주어진 제약을 후반 단계에서 잊어버림
  • 적응적 수정 (Adaptive Correction): 오류를 감지하고 경로를 수정하는 능력 부족

이 세 가지는 모두 장기 호라이즌 실행과 직결되는 역량이다.

2. 도메인 간 격차

Table 4: 평가 경로별 벤치마크 결과

ToC 도메인(소비자 친화적)보다 ToB/ToE 도메인(전문적·절차적)에서 일관되게 더 낮은 점수가 나왔다. 이는 에이전트가 일상적 맥락에서는 어느 정도 대응하지만, 전문적 지식과 복잡한 워크플로가 필요한 영역에서는 한계가 뚜렷하다는 것을 의미한다.

3. 난이도 요인의 영향

Table 3: 챌린징 세트 통계

8가지 원자적 난이도 요인(제약 수, 도구 수, 턴 수, 의존성 깊이 등) 중 멀티턴 의존성과 제약 조합이 가장 큰 성능 저하를 유발한다.

4. 모델 간 편차가 크다

Figure 7: 모델별 성능 비교

비슷한 전체 점수를 가진 모델들도 역량 프로파일은 매우 다르다. A 모델은 계획은 잘하지만 도구 사용이 약하고, B 모델은 그 반대인 식이다. 이는 단일 점수로 에이전트를 평가하는 것의 위험성을 보여준다.

왜 중요한가

  1. 진단적 평가가 가능하다. OmniaBench는 “몇 점”이 아니라 “어떤 역량이 부족한지”를 알려준다. 이는 에이전트 개선 방향을 구체적으로 가리킨다.
  2. 현실적 도메인을 커버한다. ToC/ToB/ToE를 아우르는 354개 소분류 도메인은 실제 응용 환경의 복잡성을 반영한다.
  3. 오염 방지 설계. 1,431개 과제 전체 공개 + 644개 챌린징 세트를 분리하여, 벤치마크 공개 후에도 평가의 유효성을 유지한다.
  4. 범용 에이전트의 한계를 정량화. 최강 모델도 60%를 넘지 못한다는 것은, 범용 에이전트가 아직 초기 단계라는 것을 의미한다.

한계와 숙제

  • 1,431개 과제는 풍부하지만, 전체 응용 공간에 비하면 여전히 샘플
  • 실행 환경의 현실성이 실제 프로덕션 환경과 완전히 일치하지는 않음
  • 다국어·다문화 도메인에 대한 평가는 제한적
  • 에이전트의 창의적 문제 해결(정답이 정해진 과제 외)은 평가 밖

더 실습해보고 싶은 분들께

에이전트 평가, 도구 사용, 루프 설계를 직접 다뤄보고 싶다면 다음 두 자료를 추천한다:

OmniaBench가 보여주는 것은 범용 에이전트의 가능성과 한계가 공존하는 풍경이다. “에이전트가 잘한다/못한다”가 아니라, 무엇을 잘하고 무엇을 못하는지를 정확히 아는 것이 다음 단계의 출발점이다.

그래프 뷰