한 줄 요약: MANTA는 다중 에이전트 시스템의 통신 구조(토폴로지)를 작업 실행 중에 실시간으로 감사하고 수정하여, 고정된 협업 구조의 한계를 넘어선다. 5개 벤치마크 평균 74.0점, 최강 베이스라인 대비 +5.8점, 그리고 가장 적은 토큰 소비량을 기록했다.
문제: 토폴로지는 왜 고정되는가
다중 에이전트 시스템(Multi-Agent System, MAS)은 복잡한 작업을 역할 분담, 정보 교환, 중간 검증으로 분해한다. CAMEL, ChatDev, MetaGPT, 다중 에이전트 토론(Multi-Agent Debate) 등 다양한 프레임워크가 등장했지만, 이들 모두가 공유하는 근본적 한계가 하나 있다. 누가 누구와 통신하는지, 정보가 어떻게 라우팅되는지, 검증이 어디서 일어나는지를 정의하는 **통신 토폴로지(communication topology)**가 설계 시점에 고정된다는 점이다.
최근 MASS, AFlow, ADAS, AgentSquare 등이 워크플로우와 토폴로지를 최적화 대상으로 다루기 시작했지만, 이들조차도 실행 전 오프라인 검색으로 최적 구조를 찾은 뒤 실행 중에는 그 구조를 그대로 유지한다.
MANTA는 여기서 한 발 더 나아간다. **실행 중에 토폴로지 자체를 자가 개선(topology-level self-improvement)**하겠다는 것이다.
MANTA의 설계: 이중 계층 오케스트레이션
MANTA의 핵심 통찰은 협업 구조를 메타 수준에서 관리하는 계층을 다중 에이전트 시스템 위에 얹는 것이다. 시스템은 두 개의 중첩된 계층으로 구성된다.
- 타겟 다중 에이전트 시스템: 실제로 작업을 수행하는 에이전트들. 추론, 도구 호출, 메시지 교환을 통해 문제를 해결한다.
- 오케스트레이션 계층: 에이전트들을 선택하고, 통신 링크와 정보 가시성을 제어한다. 모델 가중치를 업데이트하지 않고 추론 시점에 구조를 적응시킨다.
오케스트레이션 계층은 세 개의 LLM 컴포넌트와 결정론적 코드로 구성된다.
세 가지 핵심 컴포넌트
1. Topology Planner (토폴로지 플래너)
작업과 경험 메모리를 입력받아 상호작용 패턴, 에이전트 수, 역할, 컨텍스트 정책을 포함한 컴팩트한 계획을产出한다. 결정론적 코드가 이 계획을 완전한 토폴로지로 확장하고 모든 구조적 제약을 검증한다. 중요한 점은 벤치마크 정답에 접근하지 않는다는 것이다. 작업 요구사항과 이전 경험만으로 초기 구조를 설계한다.
2. Trace Auditor (추적 감사자)
첫 번째 협업 턴 이후, 구조화된 산출물(도구 기록, 릴레이 패킷, 신뢰도, 미해결 이슈, 증거 가시성)을 스캔하여 과정 수준의 이상 징후를 보고한다. 답안의 정확성을 판단하는 것이 아니라, 협업 과정에서 관찰 가능한 구조적 결함을 찾는다.
감사자가 식별하는 전형적인 패턴들은 다음과 같다:
- 한 워커가 과부하 상태인 경우 (overloaded branch)
- 필요한 검증이 누락된 경우 (missing check)
- 너무 이르게 합의에 도달한 경우 (premature consensus)
- 동일한 행동이 중복 실행된 경우 (duplicated action)
3. Skill Reflector (스킬 반영자)
N번의 실행마다 최근 실행 궤적을 요약하여 장기 플레이북(long-term playbook)을 갱신한다. 이 학습 루프는 벤치마크 피드백을 절대 보지 않는다. 각 실행은 과정 파생 라벨(process-derived label)만 받는다. 감사에 플래그가 없고 합의로 종료되면 “절차적으로 깔끔함(procedurally clean)“으로 라벨링된다.
토폴로지 표현
MANTA의 토폴로지는 단순한 그래프가 아니다. 각 에이전트는 구조적 역할(코디네이터, 워커, 검증자, 토론자, 투표자)과 단계 역할(워커 또는 비평자)을 가진다. 에이전트는 중첩 가능한 패턴 그룹에 속하며, 각 컨텍스트 정책이 메시지 가시성을 제어한다. 실행 전에 그룹 멤버십, 역할, 에이전트 예산 등 모든 구조적 제약을 검증하여 무효한 제안을 거부한다.
오케스트레이션 루프: 계획 → 실행 → 감사 → 수리
MANTA의 실행 사이클은 네 단계로 이루어진다.
- 질의 조건부 계획(Query-conditioned planning): 플래너가 작업 요구사항과 과거 경험을 분석하여 초기 토폴로지를 설계한다.
- 턴 실행(Turn execution): 에이전트들이 구조화된 릴레이 패킷으로 통신한다. 동일한 도구 호출은 중복 제거되고, 증거 원장(evidence ledger)이 모든 클레임과 근거를 추적한다.
- 추적 감사(Trace auditing): 감사자가 과정 위험을 평가하고, 수리가 필요한지 판단한다.
- 제한된 수리(Bounded repair): 플래그된 경우 최대 3개의 구조적 수정이 허용된다. 에이전트 추가, 그룹 패턴 변경, 통신 엣지 수정, 정보 가시성 변경이 가능하다.
두 가지 시간 규모의 메모리
- 단기 플레이북: 현재 실행 내에서 턴별로 토폴로지, 감사 플래그, 수리 내용을 기록
- 장기 플레이북: 실행 간에 축적되는 구조적 교훈. 작업 특성과 과정 위험을 토폴로지 선택에 매핑하는 일반 원칙을 저장
핵심은 장기 플레이북도 벤치마크 결과를 절대 보지 않는다는 것이다. 오직 과정 신호만으로 학습한다.
실험 결과: 5개 벤치마크에서 일관된 우위
MANTA는 BrowseComp(정보 탐색), StableToolBench(도구 사용), PlanCraft(계획), WorkBench(워크플로우), MATH(추론) 5개 벤치마크에서 평가했다. 모든 방법은 Gemma 4 31B를 백본으로 사용했다.
주요 수치:
- BrowseComp: 76.7점 (최고, 2위 Orchestrator w/ Discussion 64.4점 대비 +12.3)
- PlanCraft: 76.7점 (최고, 2위 ADAS 57.8점 대비 +18.9)
- StableToolBench: 82.2점 (AgentSquare의 88.9점에는 못 미침)
- WorkBench: 43.3점 (ADAS의 66.7점에는 크게 뒤짐)
- MATH: 91.1점 (상위권)
- 평균: 74.0점 (최강 베이스라인 ADAS 68.2점 대비 +5.8)
흥미로운 점은 WorkBench에서 ADAS가 66.7점으로 강세를 보이지만, MANTA는 토클 효율성 측면에서 압도적이라는 것이다. MANTA의 총 토큰 소비량은 77,652토큰으로, ADAS(275,403토큰)의 약 28% 수준이다.
어블레이션: 무엇이 가장 기여하는가
어블레이션 결과는 MANTA의 설계 철학을 명확히 입증한다.
| 설정 | 성공률 | 변화 |
|---|---|---|
| Full MANTA | 71.7% | — |
| 초기 계획 제거 | 57.5% | -14.2 |
| 토폴로지 수리 제거 | 60.8% | -10.9 |
| 장기 플레이북 갱신 중지 | 67.5% | -4.2 |
| 장기 플레이북 제거 | 66.7% | -5.0 |
**가장 큰 기여는 초기 토폴로지 계획(-14.2점)**에서 온다. 작업에 맞는 구조를 처음부터 잘 선택하는 것이 가장 중요하다. 실행 중 수리(-10.9점)가 그 다음이며, 장기 플레이북은 추가적인 이득을 제공한다.
수리 예산의 효과
수정 예산을 0에서 3까지 변화시키며 측정한 결과, 첫 번째 수정 기회가 가장 큰 성공률 향상을 가져왔다. 이는 대부분의 구조적 결함이 한 번의 표적적 수정으로 해결됨을 시사한다.
사례 연구: 토폴로지가 어떻게 진화하는가
MANTA의 진정한 가치는 구체적인 수리 사례에서 드러난다.
과부하 브랜치 확장
MANTA는 StableToolBench와 BrowseComp의 다중 검색 작업에서, 초기 스타 구조의 한 워커가 과부하에 빠지면 해당 워커를 하위 그룹 허브로 확장하여 스타를 2단계 트리로 진화시킨다.
StableToolBench 작업에서 여러 검색 측면이 있는 경우, 플래너는 코디네이터가 두 워커에 작업을 분배하는 3에이전트 스타를 선택했다. 실행 중 한 워커가 여러 측면을 담당하다 도구 실패를 겪었다. MANTA는 해당 워커를 하위 그룹의 허브로 확장하여 스타 구조를 2단계 트리로 진화시켰다. 영향받지 않은 브랜치는 그대로 유지하면서 문제가 된 부분만 세분화한 것이다.
검증 및 실행 순서 변경
두 가지 추가 수리 패턴이 있다:
- 검증 누락: 단일 에이전트가 저신뢰도 출력을 낸 경우, 검증자를 추가하여 2에이전트 체인을 형성
- 중복 실행: 병렬 에이전트가 동일한 상태 변경 작업을 시도한 경우, 스타를 직렬 체인으로 교체하여 실행을 직렬화
통신 재연결 및 비평가 삽입
가장 흥미로운 수리 두 가지는 시스템 크기를 키우지 않는 수정이다:
- 통신 재연결: PlanCraft에서 세 에이전트가 첫 턴에 너무 빨리 합의한 경우, 워커와 검증자 사이에 직접 링크를 추가하여 스타를 완전 연결 토론(fully connected debate)으로 변환
- 비평가 삽입: Math500에서 단일 에이전트의 저신뢰도 답안에 대해, 문제를 다시 풀 에이전트가 아니라 기존 답안을 검증하는 비평가를 한 명 추가
핵심 통찰: 토폴로지 진화는 단순히 에이전트나 엣지를 추가하는 것이 아니다. 5가지 수리 유형 중 브랜치 확장만이 시스템을 더 크게 만든다. 직렬화는 실행 순서를 바꾸고, 재연결은 통신 대상을 변경하며, 비평가 삽입은 새 컴퓨팅에 해결 역할이 아닌 검증 역할을 부여한다.
토큰 효율성: 더 적게 쓰고 더 잘한다
MANTA는 평가된 다중 에이전트 시스템 중 가장 낮은 총 토큰 소비량을 기록했다. 메타 수준 작업(토폴로지 계획, 감사, 수리)이 전체 추론 예산의 약 12%만 차지한다. 나머지 88%는 실제 작업 해결에 사용된다.
정적 다중 에이전트 시스템들이 작업 필요성과 무관하게 고정된 에이전트 구성을 실행하여 불필요한 토큰을 소모하는 것과 대조적이다.
플레이북 전이: 학습이 일반화되는가
장기 플레이북의 전이 성능을 테스트한 결과, MANTA는 **동일 벤치마크 내 전이(in-domain)**와 교차 벤치마크 전이(cross-domain) 모두에서 +3.3점의 평균 향상을 보였다. 반면 ADAS는 -3.3점, AgentSquare는 -13.3점, MASS는 -58.3점의 부정적 전이를 보였다.
이는 MANTA의 플레이북이 고정된 워크플로우가 아닌 상속 가능하고 실행 가능한 구조적 지식을 보존하기 때문이다.
Trace 감사의 신뢰성
감사자의 품질을 450개 실행에서 평가했다:
- 수리 플래그가 없는 실행(clen run)의 **83.2%**가 정답
- 플래그된 실행의 **62.5%**만 정답
- **20.7점의 분리도(separation)**로, 과정 품질이 답안 신뢰도에 대한 의미 있는 정보를 제공함
MANTA는 총 151회의 수리를 적용했으며, 60.9%의 수리 후 플래그가 감소했고, 59.6%의 명명된 수리 타겟이 다음 감사에서 사라졌다. 수리된 실행의 69.5%가 정답을 생산했다.
의의와 시사점
MANTA가 제시하는 관점 전환은 협업 구조 자체가 자가 개선의 대상이라는 것이다. 기존 연구가 에이전트의 출력, 프롬프트, 추론 궤적, 기억, 도구 사용을 개선하는 데 집중했다면, MANTA는 에이전트들이 어떻게 조직되어 있는지를 개선한다.
다만 한계도 명확하다. WorkBench에서 ADAS 대비 크게 뒤처지는 것은, 오프라인 최적화가 유리한 영역이 여전히 존재함을 보여준다. 또한 Gemma 4 단일 백본만 평가했으므로, 더 강력한 모델에서의 효과는 검증이 필요하다. 감사자가 정답을 직접 판단하지 않기에, 에이전트들이 합의한 오답을 잡아내지 못하는 한계도 존재한다.
그럼에도 불구하고, MANTA의 접근방식은 에이전트 시스템 설계의 새로운 방향을 제시한다. 가중치 업데이트 없이, 오프라인 검색 없이, 실행 중에 협업 구조를 적응시키는 능력은 에이전트 시스템이 더 유연하고 더 효율적이 되는 경로를 보여준다.
더 실습해보고 싶은 분들께
에이전트 자가 진화, 다중 에이전트 오케스트레이션, 그리고 루프 기반 시스템 설계에 관심이 있다면 다음 두 가지를 추천한다:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 활용의 실전 사례를 50가지 시나리오로 정리
- 「모두를 위한 루프 엔지니어링」 — 루프 기반 시스템 설계의 원리와 실습
Paper: MANTA: Multi-Agent Network Topology Adaptation for Self-Evolving Multi-Agent Systems (arXiv:2607.28527, 2026년 7월)