핵심 요약
강화학습으로 에이전트를 훈련할 때, 가장 골치 아픈 문제는 **“수십 번의 도구 호출 중 정확히 어느 것이 정답 도달에 기여했는가?”**다. 결과 기반 보상(outcome reward)은 궤적 전체에 하나의 신호만 준다. 실패한 롤아웃이라도 앞부분의 검색이 유용했을 수 있고, 성공한 롤아웃이라도 중간에 불필요한 행동이 섞여 있을 수 있다.
TRACE(Turn-level Reward Assignment via Credit Estimation)는 이 문제를 우아하게 해결한다. 동결된 참조 모델(frozen reference model)로 각 궤적 프리픽스가 정답을 얼마나 예측 가능하게 만드지 측정하고, 인접 프리픽스 간의 TD(시간차) 변화를 턴 단위 보상으로 사용한다. 추가 크리틱 학습, 과정 라벨, 강력한 판단 모델 없이도 작동한다.
BrowseComp-Plus에서 Qwen3-4B를 7.2 → 35.6, Qwen3-30B-A3B를 8.4 → 42.6으로 향상. 순수 RL만으로, 콜드스타트 SFT·미드트레이닝·라이브 웹 데이터 없이 달성.
문제: 긴 호라이즌 에이전트의 크레딧 할당
수학·코딩 같은 단턴 추론 작업에서는 정답 검증기가 확실한 보상을 줄 수 있다. 그러나 다턴 에이전트는 수십 번의 search, open, find, code 도구 호출을 수반한다. 터미널 보상 하나가 이 모든 의사결정을 감독해야 한다.
결과 보상만 쓸 때의 문제
| 상황 | 문제 |
|---|---|
| 실패한 롤아웃에 유용한 검색이 있음 | 결과 보상은 전체에 음의 어드밴티지 → 유용한 탐색이 벌점 받음 |
| 성공한 롤아웃에 중복 행동이 있음 | 결과 보상은 전체에 양의 어드밴티지 → 불필요한 행동이 보상 받음 |
| 호라이즌이 길어짐 | 그래디언트 분산 증가, 학습 지연 |
기존의 과정 감독(process supervision)은 단계별 라벨, 강력한 LLM 판단자, 학습된 과정 보상 모델을 필요로 한다. 비용이 많이 들고, 보상 모델의 드리프트 문제도 있다.
그림 1: 도구 호출 경계에서 크레딧 할당. 결과 보상 훈련은 궤적 전체에 동일한 어드밴티지를 부여하지만, TRACE는 각 도구 호출 시점에서 프리픽스 값을 계산하고 인접 값의 변화로부터 턴 단위 크레딧을 할당한다.
TRACE의 설계: 탐침 기반 TD 크레딧
핵심 아이디어
TRACE의 직관은 단순하다. **“정답이 이미 알려져 있는 훈련 시점에서, 각 도구 호출 후 정답이 더 예측 가능해졌는지”**를 측정하는 것이다.
동결된 참조 모델 π_ref(학습 초기화 모델의 복사본)를 **판단자가 아닌 안정적인 탐침(probe)**으로 사용한다. 각 궤적 프리픽스 S_k에 대해 참조 모델이 정답 y*를 생성할 로그 확률을 측정한다.
3단계 보상 구성
1단계: 참조 정답 점수
각 프리픽스 S_k에서 정답의 평균 로그 확률을 계산한다:
값이 클수록(음수에서 0에 가까울수록) 현재 대화 내역에 정답 근거가 더 많이 축적되었다는 뜻이다.
2단계: 로그 비율 상태 가치
원시 점수를 그대로 쓰면 오해의 소지가 있다. 같은 절대적 증가라도 정답에서 멀 때는 미미하고, 가까울 때는 크다. 따라서 초기 갭 대비 얼마나 닫았는지를 로그 비율로 표현한다:
V(S_0) = 0에서 시작하고, 클수록 더 많은 진전을 의미한다.
3단계: TD 턴 보상
인접 프리픽스 간의 가치 차이가 각 도구 호출의 크레딧이 된다:
- 양의 크레딧: 도구 호출이 정답 예측 가능성을 높임
- 0에 가까운 크레딧: 쓸모없는 관찰
- 음의 크레딧: 궤적이 정답에서 멀어짐
핵심 수학적 장점: 1단계 TD 크레딧은 망원경(telescoping) 특성이 있어, 중간의 중복 턴들이 이 성분을 부풀리지 못한다.
그림 2: TRACE 보상 구성. 각 프리픽스 상태를 동결된 참조 모델이 점수 매기고, 로그 비율 가치로 변환한 후, 인접 값 간 TD 차이로 턴 단위 크레딧을 계산한다. 이를 궤적 수준 결과 어드밴티지와 결합하여 정책 최적화에 사용한다.
왜 크리틱이 필요 없는가
TRACE가 독특한 이유는 학습된 가치 함수를 전혀 사용하지 않는다는 점이다.
| 방법 | 크리틱 필요 | 과정 라벨 | 판단 모델 |
|---|---|---|---|
| 결과 보상 (GRPO) | ✗ | ✗ | ✗ |
| 과정 보상 모델 (PRM) | ✓ | ✓ | ✓ |
| 몬테카를로 전개 | ✗ | ✗ | ✓ |
| TRACE | ✗ | ✗ | ✗ |
동결된 참조 모델은 정책이 업데이트되어도 변하지 않는다. 정답은 훈련 중에 이미 알려져 있으므로, 참조 모델이 각 프리픽스에서 정답을 얼마나 잘 생성하는지는 환경과의 상호작용이 정답 도달에 얼마나 기여했는지를 직접 측정한다.
실험: 순수 RL로 4배 이상 성능 향상
설정
- 훈련 데이터: OpenResearcher 오프라인 코퍼스 기반 합성 다단계 검색 작업
- 에이전트 하네스: ReAct 스타일 (browser.search, browser.open, browser.find)
- 모델: Qwen3-4B-Thinking-2507, Qwen3-30B-A3B-Thinking-2507
- 프로토콜: 콜드스타트 SFT 없음, 미드트레이닝 없음, 라이브 웹 데이터 없음
메인 결과
| 모델 | BrowseComp-Plus | BrowseComp | GAIA | xbench-DeepSearch | 평균 |
|---|---|---|---|---|---|
| Qwen3-4B Base | 7.2 | 3.3 | 24.2 | 19.0 | 13.4 |
| Qwen3-4B + GRPO | 30.0 | 5.1 | 38.8 | 44.0 | 29.5 |
| Qwen3-4B + GSPO | 29.7 | 5.4 | 36.7 | 41.0 | 28.2 |
| Qwen3-4B + TRACE | 35.6 | 6.7 | 44.6 | 49.0 | 34.0 |
| Qwen3-30B-A3B Base | 8.4 | 4.4 | 34.1 | 20.0 | 16.7 |
| Qwen3-30B-A3B + GRPO | 36.4 | 10.8 | 45.6 | 37.0 | 32.5 |
| Qwen3-30B-A3B + GSPO | 39.7 | 11.8 | 46.6 | 35.0 | 33.3 |
| Qwen3-30B-A3B + TRACE | 42.6 | 12.9 | 52.0 | 45.0 | 38.1 |
TRACE가 GRPO 대비 4B에서 +4.5, 30B-A3B에서 +5.6의 평균 향상을 기록했다. 가장 인상적인 것은 이 향상이 결과 보상은 그대로 유지한 채 턴 단위 크레딧만 추가해서 얻었다는 점이다. 같은 백본, 같은 브라우저 인터페이스, 같은 훈련 데이터, 같은 평가 프로토콜에서 오직 최적화 신호 구성만 바꾼 통제 비교다.
그림 3: 학습 동태. TRACE 곡선이 더 일찍 상승하고 더 가파르게 오르며, 더 높은 안정 영역에 도달한다. 30B-A3B 모델에서 160 스텝 TRACE 체크포인트가 200 스텝 결과 보상 베이스라인을 이미 초과한다.
학습 동태 분석: 왜 더 빨리 수렴하는가
상호작용 길이가 더 빨리 늘어난다
그림 4: 궤적 규모 동태. TRACE 곡선이 GRPO보다 일찍, 그리고 더 빠르게 상승한다.
결과 보상만으로는 초반에 긴 궤적이 대부분 실패하므로, 긴 상호작용을 시도한 것 자체가 낮은 어드밴티지를 받는다. TRACE는 각 상호작용이 정답 예측 가능성을 높였는지 즉각적으로 보상하므로, 에이전트가 더 일찍 “유의미한 탐색”을 학습한다.
핵심 통찰
TRACE의 이점은 정보 흐름 관리에서 온다. 실패한 롤아웃에서도 유용한 검색 행동을 식별해 내고, 성공한 롤아웃에서도 중복 행동을 패널티 준다. 이것이 단순히 더 긴 추론 rather than 더 똑똑한 컨텍스트 관리로 이어지는 것이 아니다.
제거 실험: 무엇이 TRACE를 작동하게 하는가
그림 5: (a) 턴 보상 계수 (b) TD look-ahead 호라이즌 K (c) 참조 체크포인트 선택에 대한 제거 실험.
로그 비율이 원시 델타보다 낫다
| 크레딧 형식 | BrowseComp-Plus |
|---|---|
| GRPO (결과만) | 30.0 |
| + 원시 델타 | 32.4 |
| + 남은 갭 정규화 | 34.6 |
| + 로그 비율 TD | 35.5 |
상대적 갭 폐쇄가 절대적 가능도 변화보다 더 효과적인 크레딧 신호를 제공한다.
최적 하이퍼파라미터
- 턴 보상 계수: α_turn = 0.2~3 사이가 최적. 너무 크면 로컬 준비도가 최종 정확도를 압도
- TD look-ahead: K=3이 최적. K=0(전파 없음)은 결과 전용 GRPO와 거의 동일. K가 너무 크면 관련 없는 미래 턴의 노이즈 증가
- 참조 체크포인트: 초기화(step 0)와 step 200 둘 다 유사한 성능. 특별히 강한 교사 모델이 필요 없음
표 2: 크레딧 할당 제거 실험. 로그 비율 TD 크레딧(35.5)이 원시 델타(32.4), 남은 갭 정규화(34.6), 결과 전용 GRPO(30.0)를 모두 능가한다.
개방형 및 폐쇄형 웹 전이
TRACE는 폐쇄 코퍼스(OpenResearcher)에서 훈련했지만, 학습된 행동이 개방형 웹 검색으로 전이된다:
| 벤치마크 | 환경 | Qwen3-30B-A3B Base → TRACE |
|---|---|---|
| BrowseComp-Plus | 폐쇄 웹 | 8.4 → 42.6 |
| BrowseComp | 개방 웹 | 4.4 → 12.9 |
| GAIA | 개방 웹 | 34.1 → 52.0 |
| xbench-DeepSearch | 개방 웹 (중국어) | 20.0 → 45.0 |
특히 xbench-DeepSearch는 중국어 QA 벤치마크이므로, 영어 합성 데이터로 배운 검색 전략이 언어를 넘어 전이됨을 시사한다.
한계와 시사점
현재 한계
- 짧고 검증 가능한 정답에 최적화됨. 코드 에이전트(다중 파일 패치)나 개방형 어시스턴트 같이 정답이 길거나 구조화된 작업에서는 금침스 평가의 적용성이 불확실
- 합성 검색 작업으로 훈련했으므로, 더 다양한 도구 환경에서의 검증이 필요
왜 중요한가
TRACE는 에이전트 RL에서 가장 근본적인 문제 중 하나인 크레딧 할당을, 외부 크리틱이나 과정 라벨 없이 해결했다는 점에서 의의가 깊다. 핵심 통찰은 “정답이 이미 알려진 훈련 설정에서, 동결된 모델이 각 프리픽스에서 정답을 얼마나 잘 맞추는지”가 환경 상호작용의 진전을 측정하는 자연스러운 프록시가 된다는 것이다.
이 접근은 특히 긴 호라이즌 에이전트 훈련에 직접적인 도움이 된다. 도구 호출 수가 늘어날수록 결과 보상만으로는 감당이 안 되는데, TRACE는 추가 학습 비용 없이 밀집 신호를 제공한다.
더 실습해보고 싶은 분들께
에이전트 루프 설계와 강화학습 기반 최적화에 관심이 있다면, 다음 자료가 실무에 직접 도움이 될 수 있습니다:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스와 루프 엔지니어링의 실제 구현 사례 50선
- 「모두를 위한 루프 엔지니어링」 — 에이전트 루프 설계부터 최적화까지 단계별 실습
TRACE가 보여주는 “턴 단위 크레딧으로 긴 호라이즌 학습 가속” 아이디어는, 실제 에이전트 시스템에서도 디버깅·평가·훈련 루프 설계에 직접 활용할 수 있는 원리다.
본 글은 Tao et al., “TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents”, arXiv:2607.13988 (2026)을 기반으로 작성되었습니다. 저자: Leitian Tao (UW–Madison), Baolin Peng (Microsoft Research) 외. 논문 원문