들어가며: “더 오래 검색한다”로는 부족하다
딥리서치(Deep Research) 에이전트가 풀어야 할 문제는 단순히 “정보를 더 많이 찾는 것”이 아니다. 진짜 어려움은 여러 제약조건을 동시에 만족하는 답을 찾아야 한다는 데 있다. 예컨대 “2023년 이후 상장한 AI 칩스타트업 중 시가총액 10억 달러 이상이면서 한국에 R&D 센터가 있는 곳” 같은 질문은 시간, 규모, 지역, 업종 등 네 개 이상의 제약을 동시에 만족해야 한다.
기존 접근법은 주로 추론 시간 계산(inference-time compute)을 늘리는 방향이었다 — 더 긴 검색 궤적, 더 많은 도구 호출, 더 긴 컨텍스트. 하지만 이 접근에는 근본적 한계가 있다: 초기에 생긴 오류가 그대로 남고, 이미 탐색한 방향을 반복 방문하며, 부분적으로 맞는 답을 검증 없이 받아들여 버린다.
BAAI(베이징인공지능연구원)가 발표한 **AREX(Agentic Recursive EXploration)**는 이 문제를 “발견-검증 비대칭(discovery–verification asymmetry)“이라는 관점에서 접근한다.
답을 처음 발견하는 것은 비싸지만, 주어진 답이 맞는지 검증하는 것은 훨씬 싸다.
이 비대칭이야말로 재귀적 자기개선의 원동력이 된다.
Figure 1: AREX가 다양한 벤치마크에서 기록한 성능. 10B 활성 파라미터로 수십B 규모 모델들과 경쟁한다.
핵심 통찰: 발견-검증 비대칭
AREX의 출발점은 단순하지만 강력한 관찰이다.
- 발견(discovery): 모든 제약을 동시에 만족하는 답을 찾는 것은 탐색 공간이 넓고 정보가 희소하기 때문에 비용이 크다.
- 검증(verification): 반면 주어진 후보 답안이 각 제약을 만족하는지 하나씩 확인하는 것은 훨씬 다루기 쉽다.
이 비대칭을 활용하면, 검증 결과를 단순한 합불 판정이 아니라 다음 연구 방향을 정하는 제어 신호로 쓸 수 있다. 어떤 제약은 이미 증거가 확보되었고, 어떤 제약은 아직 미해결이며, 어디서 증거가 충돌하는지 — 이 정보가 다음 라운드의 검색 목표를 정의한다.
이중 루프 구조: 안쪽 탐색 + 바깥쪽 자기개선
AREX는 계층적 이중 루프로 동작한다.
Figure 2: 안쪽 리서치 루프와 바깥쪽 자기개선 루프의 구조
안쪽 리서치 루프 (Inner Research Loop)
주어진 연구 목표에 대해:
- 검색/브라우징 도구를 호출해 증거 수집
- 수집된 증거를 통합해 임시 답안 구성
- 구조화된
finish도구로 답안, 근거, 신뢰도 점수(0–100) 출력
이 과정에서 모델은 자율적으로 update_context 도구를 호출하여 길어진 대화 기록을 압축된 “개선 상태(improvement state)“로 변환한다.
바깥쪽 자기개선 루프 (Outer Self-Improvement Loop)
안쪽 루프의 결과를 받아 세 가지 결정 중 하나를 내린다:
| 결정 | 조건 | 동작 |
|---|---|---|
| Accept | 신뢰도 ≥ 임계값 | 답안 채택 |
| Refine | 신뢰도 < 임계값, 궤적 회복 가능 | 검증된 발견을 보존하고 미해결 제약에 대한 타겟팅된 다음 라운드 시작 |
| Restart | 신뢰도 < 임계값, 궤적 회복 불가 | 이전 궤적 전체 폐기, 처음부터 재시작 |
이 구조의 핵심은 검증이 라운드 사이의 전환 연산자로 작용한다는 점이다. 단순히 검색을 더 길게 하는 게 아니라, 부분적으로 검증된 상태에서 더 정확한 다음 문제로 변환한다.
자율적 컨텍스트 갱신 (Autonomous Context Updating)
긴 연구 궤적에서 가장 까다로운 문제 중 하나가 컨텍스트 관리다. 기존 방식들의 한계:
- 고정 휴리스틱: 도구 응답을 단순히 잘라내거나 (MiroThinker), 토큰 임계값 도달 시 요약 (DeepSeek)
- 이 방식들은 연구 상태(research state)가 아닌 단순 토큰 예산만 관리 → 출처 정보, 부정 증거, 미해결 제약이 손실될 수 있음
AREX의 update_context는 다르다:
- 모델이 스스로 호출 시점을 결정 (전체 케이스의 80.3%에서 사용)
- 호출 트리거의 66.9%가 “검색 전략 수정” — 컨텍스트 한계 도달이 아니라 의미적 전환점에서 발동
- 보존 내용: 검증된 발견(72.1%), 현재 후보들(39.2%), 미해결 제약(95.5%), 기각된 후보(81.5%), 다음 단계 계획(96.4%)
평균 25,721 토큰(중앙값 25,386)에서 갱신이 일어나며, 이는 128K 컨텍스트 한계의 약 20%에 불과하다. 즉, ACU는 단순한 “토큰 절약”이 아니라 의미적 연구 상태 유지 메커니즘으로 작동한다.
훈련 파이프라인: 3단계 점진적 구축
1단계: 점진적 다중 라운드 능력 훈련 (Agentic Mid-training)
동시에 섞어 훈련하면 간섭이 생긴다. 그래서 AREX는 순차적 접근을 취한다:
- 브라우징 집중 훈련: 웹 탐색, 증거 수집, 반복 검색 행동 확립
- 추론 집중 훈련: 장문 추론, 가설 검증, 문제 해결 강화
- 혼합 능력 통합: 핵심 단계 리플레이 + 학술 논문 연구 + 지식 집약적 추론
이 순서가 중요하다 — 혼합 훈련으로 대체하면 BrowseComp 정확도가 82.5 → 77.5로 떨어진다.
2단계: 핵심 단계 집중 지도 (Key-Step Focused Supervision)
긴 궤적의 모든 단계가 동등하게 중요하지는 않다. AREX는 세 가지 유형의 “핵심 단계”를 식별한다:
- 증거 발견: 여러 탐색 끝에 답 관련 증거를 처음 찾아낸 단계
- 경로 전환: 잘못된 가설을 기각하고 새 방향으로 전환하는 단계
- 컨텍스트 갱신: 검증된 증거와 미해결 제약을 개선 상태로 압축하는 단계
이 핵심 단계들은 전체 궤적 훈련 후에도 여전히 높은 손실(loss)을 보인다 — 일반 단계 평균 0.232에 비해 핵심 단계는 0.277~0.300 (19–29% 높음).
Figure 4: 전체 궤적 미드트레이닝 후 핵심 단계가 여전히 높은 손실을 보인다.
핵심 단계에만 손실을 집중하자 정확도가 82.5로 회복되었다 (무작위 단계 리플레이는 74.1로 대폭 하락).
3단계: 단계 인식 강화학습 (Step-aware RL)
표준 GRPO 대신 단계 수준 정책 최적화를 사용:
- 토큰 수준 비율을 기하 평균으로 단계 수준에서 정규화
- 계층적 평균화(궤적 내 → 그룹 내)로 긴 궤적의 지배 방지
- 핵심 단계에 보너스 신호 추가 (단, 궤적이 성공한 경우에만)
Table 4: 각 훈련 요소를 제거했을 때의 BrowseComp 정확도 변화.
성능: 10B 활성 파라미터로 경쟁하는 MoE
AREX는 두 가지 크기로 구현되었다:
| 모델 | 활성 파라미터 | 백본 |
|---|---|---|
| AREX-Turbo | 4B (dense) | Qwen3.5-4B |
| AREX-Base | 122B 총 / 10B 활성 (MoE) | Qwen3.5-122B-A10B |
핵심 결과:
Table 1: 주요 벤치마크 성능 비교 (딥서치, 와이드서치, 에이전트 추론, 도구 사용)
특히 주목할 점:
- BrowseComp 82.5 — Qwen3.5-397B(78.6)를 뛰어넘는 성능
- WideSearch-en 82.0 — 모든 모델 중 최고 점수 (Kimi-K2.6 80.8, Gemini-3.1-Pro 66.4 초과)
- GAIA 85.4 — MiroThinker-H1(88.5)에는 못 미치지만, DeepSeek-V4-Pro를 상회
- 4B인 AREX-Turbo조차 Qwen3.5-35B를 6개 벤치마크 중 5개에서 능가
컨텍스트 갱신과 외부 루프의 시너지
가장 설득력 있는 제거 실험:
Table 3: ACU와 외부 루프 유무에 따른 BrowseComp 정확도
- 둘 다 없음: 59.6
- 외부 루프만: 69.8 (+10.2)
- ACU만: 71.4 (+11.8)
- 둘 다 있음: 82.5 (+22.9)
두 메커니즘이 상호 강화한다. ACU가 없으면 외부 루프가 작동할 깨끗한 연구 상태가 없고, 외부 루프가 없으면 ACU로 압축한 상태를 재검증할 기회가 없다.
신뢰도 점수의 분리 능력
finish가 출력하는 0–100 신뢰도 점수의 품질도 확인할 수 있다:
Figure 3: 정답은 90–100 구간에, 오답은 60 이하에 집중되어 있다.
정답의 95.9%가 90–100 구간에 몰려 있고, 오답의 55.2%가 60 미만이다. 이 분리가 외부 루프의 의사결정을 효과적으로 지원한다.
의의와 시사점
1. 검증이 단순 필터가 아닌 제어 신호로
AREX의 가장 중요한 개념적 기여는 검증을 라운드 간 전환 연산자로 재정의한 것이다. 기존에는 검증이 “이 답이 맞나?”라는 이분법적 필터였다면, AREX에서는 “어디까지 맞고, 어디서부터 불확실한가?”라는 진단이 된다.
2. 자율적 컨텍스트 관리의 새 기준
update_context가 토큰 수에 의해 강제되는 것이 아니라 모델이 의미적 전환점에서 자발적으로 호출된다는 점은 주목할 만하다. 이는 컨텍스트 관리를 “예산 문제”에서 “연구 상태 유지 문제”로 격상시킨다.
3. 단계 수준 학습 신호의 가치
긴 호라이즌 에이전트에서 모든 단계를 동등하게 취급하면 핵심 의사결정이 묻힌다. AREX의 실험은 이를 정량적으로 보여준다 — 핵심 단계 집중 지도가 무작위 단계 대비 8.4점 향상을 가져왔다.
4. 프론티어 모델과의 격차
물론 한계도 있다. BrowseComp에서 GPT-5.4(82.7), Opus-4.6(83.7), Gemini-3.1-Pro(85.9)에 근접하지만 HLE에서는 52.4로 프론티어 대비 아직 격차가 있다. MiroThinker-H1이 BrowseComp 88.2로 더 높은 점수를 기록한 것도 알 수 있다.
그럼에도 10B 활성 파라미터로 이 성능을 달성했다는 것은 재귀적 자기개선 구조의 효율성을 방증한다.
더 실습해보고 싶은 분들께
에이전트 루프 설계, 자기개선 메커니즘, 긴 호라이즌 강화학습 같은 주제에 더 깊이 들어가고 싶다면 아래 두 가지를 추천합니다:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 실제 에이전트 자동화 사례 50가지를 다룬 실전 가이드. 루프 설계와 도구 활용의 감각을 익히기에 좋다.
- 「모두를 위한 루프 엔지니어링」 — 에이전트 루프를 엔지니어링 관점에서 체계적으로 배우는 강의. 컨텍스트 관리, 보상 설계, 자기개선 메커니즘의 기초를 다진다.
마무리
AREX는 단순히 “더 오래 검색하는” 에이전트가 아니다. 발견-검증 비대칵을 구조적으로 활용하여, 매 라운드마다 어디가 풀렸고 어디가 남았는지 진단하고, 그 진단을 다음 검색의 출발점으로 삼는다.
이 패러다임은 딥리서치 에이전트뿐 아니라 모든 장시간 호라이즌 에이전트에 적용 가능하다. “더 길게”가 아니라 “더 똑똑하게 루프를 설계하는” 방향 — 그것이 AREX가 보여주는 길이다.
📄 논문: AREX: Towards a Recursively Self-Improving Agent for Deep Research (arXiv:2607.21461)