에이전트 RL에서 “어떤 액션이 성공에 기여했나?” — ADRS의 답
원문: Agentic Reinforcement Learning with Self-Distilled Reward Shaping (arXiv:2608.03223)
에이전트를 RL로 학습시키면 빠지는 함정이 있습니다. 환경이 주는 건 궤적 끝의 “성공” 또는 “실패” 신호뿐입니다. 50스텝을 돌린 ALFWorld 태스크에서 어떤 액션이 성공에 기여했는지 알 방법이 없죠. GRPO도, GiGPO도 마찬가지입니다.
ADRS(Agentic Reinforcement Learning with Self-Distilled Reward Shaping)는 이 문제를 훈련 전용 “특권 컨텍스트”로 풉니다. 같은 모델이 특권 정보를 넣어서 자기가 만든 토큰을 다시 평가하고, 그 점수를 RL 보상에 끼워넣습니다. 추론할 때는 특권 정보 없이 동작합니다.
ADRS가 하는 일
그림으로 보면 한눈에 들어옵니다. 행동 정책이 스킬 없이 롤아웃을 만들고, 그 토큰들을 고정한 다음 같은 정책으로 특권 컨텍스트 하에서 재평가합니다. 이 교사 점수를 세 단계로 처리합니다.
첫 번째, 같은 스텝 안에서 교사 로그확률을 센터링하고 정규화합니다. 스텝마다 오프셋이 다르니까요. 두 번째, 교사의 자신감이 실제 보상과 상관있는지 TVA 게이트로 확인합니다. 교사가 자신한다고 무조건 맹신하면 안 됩니다. 세 번째, 이 신호를 베이스 보상에 더해서 GRPO/GiGPO 어드밴티지에 넣습니다. 보조 손실이 아닙니다. RL 경로 안에서 처리합니다.
SDAR vs ADRS
SDAR이 가장 비슷한 선행 연구입니다. 둘 다 특권 정보로 토큰 수퍼비전을 만듭니다. 근데 SDAR은 외부 SkillBank에서 스킬을 검색하고, 보조 증류 손실을 RL 위에 얹습니다. ADRS는 태스크 인덱싱 프로바이더에서 스킬을 가져오고, 네이티브 RL 크레딧 구성에 직접 끼워넣습니다.
| SDAR | ADRS | |
|---|---|---|
| 스킬 소스 | 외부 SkillBank | 태스크 인덱싱 프로바이더 |
| 교사 신호 | 게이팅된 토큰 갭 | 센터링 + TVA |
| 주입 | 보조 손실 | 네이티브 RL 보상 |
| 역전파 | RL + 보조 항 | 단일 RL |
숫자로 보는 성능
Qwen2.5-3B 기준입니다. 150 스텝 공통 비교.
ALFWorld에서 GRPO가 75.0%면 ADRS는 94.5%입니다. +19.5pp 차이입니다. WebShop에서는 63.3% → 76.6%로 +13.3pp. Search-based QA도 36.4% → 45.0%로 +8.6pp 향상입니다.
300 스텝까지 돌리면 피크가 97.7%까지 올라갑니다. GRPO 파이널이 86.7%인 걸 생각하면 +9.4pp를 유지합니다.
TVA의 역할
TVA(Teacher Value Advantage) 게이트는 “교사의 자신감이 보상과 관련이 있는가?”를 묻습니다. 그룹 안에서 교사 신뢰도가 높은 쪽과 낮은 쪽의 평균 보상을 비교해서 게이트 값을 만듭니다.
TVA를 켜고 끄는 실험이 있습니다. GiGPO 백본 step 150 기준으로 ADRS(no TVA)가 87.5%, ADRS+TVA가 89.8%입니다. +2.3pp입니다. 근데 더 중요한 건 last-3 안정성입니다. 91.9% → 94.3%로 올라갑니다. 파이널 체크포인트 신뢰도가 TVA로 더 좋아집니다.
적은 데이터로도 잘 됩니다
ALFWorld 훈련 데이터를 20%, 40%, 60%, 80%, 100%로 줄여가며 실험했습니다. 60% 데이터만 써도 78.1%로 풀데이터 GRPO(75.0%)를 넘깁니다. 토큰 단위 크레딧이 있으니까 데이터 효율이 좋아집니다.
교사 신호가 집중하는 곳
ADRS가 실제로 어떤 토큰에 가중치를 두는지 분석했습니다. 4개의 성공한 ALFWorld 궤적에서 액션 토큰, 오브젝트 토큰, 스타일 토큰을 분리해서 교사-학생 갭을 측정했습니다.
초기에는 액션/스타일 비율이 1.6입니다. step 150에 가면 95.3까지 갑니다. 교사 신호가 실행 액션과 객체 선택에 거의 집중됩니다. 문체 토큰에는 신경을 안 씁니다. 이게 ADRS가 긴 호라이즌 태스크에서 잘 되는 이유입니다.
모델이 바뀌어도 됩니다
Qwen2.5-7B에서도, Qwen3-1.7B에서도 됩니다.
Qwen2.5-7B: GRPO 88.3% → ADRS 96.1% (+7.8pp) Qwen3-1.7B: GRPO 53.9% → ADRS 62.5% (+8.6pp)
모델 패밀리가 바뀌어도 일관된 향상이 있습니다.
마무리
ADRS의 핵심 기여는 특권 정보를 훈련할 때만 써서 토큰 단위 크레딧을 만들고, 이걸 네이티브 RL 어드밴티지에 통합했다는 겁니다. 별도의 보조 손실이 없고, 추론할 때 특권 정보가 필요 없습니다. ALFWorld, WebShop, Search-based QA 세 벤치마크에서 일관된 향상을 보여줍니다.
코드는 논문 링크에 있습니다.