결론 먼저
리더보드 1등 모델을 골라서 그 모델의 조언을 받게 하면 결과가 나빠지는 경우가 있습니다. CentaurBench 논문(arXiv:2608.18554)은 이걸 7개 실무 과제에서 수치로 보여줬습니다.
핵심 수치 세 개입니다.
- 과제별로 자동화 1등 모델과 보조(어그멘테이션) 1등 모델이 다른 경우: 7개 중 5개
- 보조 없이 혼자 일한 워커(GPT-3.5-Turbo)가 모든 보조 조건을 이긴 과제: 3개
- 자동화 순위와 보조 순위의 스피어만 상관: 약 0.48
정리하면, 혼자 잘 푸는 능력과 남을 도와주는 능력은 다른 능력이고, 상관도 절반 수준입니다.
벤치마크 구조
논문의 실험 설계는 단순합니다.
| 구성 | 내용 |
|---|---|
| 과제 | 상담, 시장 분석, 식단 계획, 운영연구, 세금 신고, 여행 계획, 튜터링 (7개) |
| 자동화 모드 | 평가 대상 모델이 과제를 처음부터 끝까지 직접 수행 |
| 보조 모드 | 평가 대상 모델은 가이드(계획, 체크리스트)만 쓰고, 최종 결과물은 고정 워커 GPT-3.5-Turbo가 작성 |
| 평가 | 4개 LLM 심판이 블라인드 페어와이즈 비교, 자기 계열 출력은 채점 제외, 10회 반복 |
보조 모드에서 워커를 고정하는 게 핵심 장치입니다. 워커가 같으니 결과 차이는 전부 조언의 질에서 온다고 분리해 볼 수 있습니다.
평가 대상은 GPT-5-Mini, Claude-Opus-4.8, GPT-4.1, DeepSeek-V3.1 등 10개 모델입니다.
Figure 1. 자동화/보조 이중 모드 평가 파이프라인 (원문 Figure 1)
자동화 순위와 보조 순위는 어긋난다
전체 상관은 ρ=0.48입니다. 과제별로 펼치면 편차가 큽니다.
| 과제 | 상관(ρ) |
|---|---|
| 세금 신고 | 0.85 |
| 식단 계획 | 0.64 |
| 튜터링 | 0.50 |
| 상담 | 0.25 |
| 운영연구 | 0.17 |
| 시장 분석 | 0.10 |
| 여행 계획 | −0.04 |
여행 계획에서는 순위가 사실상 무관합니다. 규칙이 명확한 과제(세금)에서는 두 능력이 같이 가고, 판단이 개입하는 과제에서는 갈라집니다.
구체적 반전 사례도 있습니다.
- 시장 분석: Claude-Opus-4.8이 자동화 1위(평균 랭크 2.05)인데 보조로는 최하위권(8.15)
- 상담: GPT-4.1은 자동화로는 7.40인데 보조로는 1위(3.80)
같은 과제에서 1등 해결사가 최약 코치가 되는 일이 재현 가능하게 일어납니다.
Figure 7. 과제별 자동화 순위 (원문 Figure 7)
Figure 8. 과제별 보조 순위, 맨 오른쪽이 무보조 워커 기준선 (원문 Figure 8)
보조가 없는 게 나은 경우도 있다
가장 흥미로운 결과는 기준선입니다. 보조 없이 혼자 일한 GPT-3.5-Turbo가 운영연구, 세금 신고, 여행 계획 3개 과제에서 모든 보조 조건보다 위에 올랐습니다. 7개 과제 평균으로도 보조 랭킹 2위입니다(1위는 GPT-5-Mini).
논문의 해석은 이렇습니다. 과하게 복잡하거나 워커와 안 맞는 가이드는 방해가 됩니다. 프롬프트에 있는 제약을 그대로 반복하는 조언은 워커가 이미 아는 내용이라 증분이 없고, 구조를 워커 판단에 맡기는 조언은 약한 워커를 더 흔듭니다.
좋은 조언의 특징도 코드화되어 있습니다.
- 프롬프트에 없는 구체적 분석 포인트를 추가할 것 (contingency)
- 섹션 순서 등 구조 요구사항을 명시적으로 못 박을 것
- 과제 완수를 방해하는 지시(예: 프롬프트와 다른 방향 제시)는 금지
내 해석: 모델 선택은 역할별로
원문 근거와 제 해석을 구분해 정리하면 이렇습니다.
원문이 말하는 것은 ‘자동화 능력이 보조 품질의 불완전한 대리 지표’라는 점입니다. 저는 여기서 실무적 함의를 뽑으면 이렇습니다.
- 에이전트 시스템에서 오케스트레이터/코치 역할 모델은 실행자 역할 모델과 따로 골라야 합니다
- 강한 모델의 조언이라도 하위 모델 워커에 그대로 주면 성능이 떨어질 수 있습니다
- ‘도움’을 검증하려면 무보조 기준선과 비교하는 게 필수입니다
멀티에이전트 파이프라인 설계 시 리더보드 순위만 보고 코치 모델을 정하면 안 됩니다.
한계
논문 스스로 밝힌 한계입니다. 워커가 GPT-3.5-Turbo 하나로 고정되어 있어 워커를 바꾸면 순위가 어떻게 되는지는 미확인입니다. LLM 심판 편향을 leave-family-out과 10회 반복으로 줄였지만 인간 전문가 검증은 남은 과제입니다.
더 실습해보고 싶은 분들께
참고
- 논문: CentaurBench: Benchmarking LLM Capabilities on Augmenting vs. Automating Real-World Work Tasks (arXiv:2608.18554)
- 과제 출처: GDPval, Anthropic Economic Index (세금 신고는 저자 자체 제작)