PATS: 에이전트 RL에서 스킬을 자산이 아니라 '비계'로 취급하다

논문: PATS: Policy-Aware Training Scaffolding for Agentic Reinforcement Learning 코드/부록: 논문 내 부록 참조

핵심 요약

에이전트 강화학습에서 가장 난감한 순간은 “정책이 약해서 똑같은 실패만 반복할 때”다. GRPO 같은 그룹 상대 방법은 롤아웃 그룹 내에 성공과 실패가 섞여 있어야 학습 신호가 생기는데, 약한 정책은 8개 롤아웃이 모두 실패하는 일이 흔하다.

PATS(Policy-Aware Training Scaffolding)는 이 문제를 스킬을 ‘배포 자산’이 아니라 ‘훈련용 비계(scaffold)‘로 재정의해서 푼다. 훈련 중에는 롤아웃 그룹의 성공·실패 패턴을 증거 카드로 변환하고, 정책의 현재 역량에 맞춰 비계의 내용과 분량을 적응적으로 조절한다. 그리고 배포 시점에는 비계를 완전히 제거한다.

왜 기존 스킬 접근이 충분하지 않았나

기존 방법들은 스킬을 영구 자산으로 다룬다:

SkillBank / SkillRL: 스킬 라이브러리를 지속적으로 확장하고, 배포 시에도 유지한다
SKILL0: 정적 스케줄에 따라 스킬을 단계적으로 철회한다 (예: 5→3→0)
SEED / UCOB: 스킬을 토큰 수준 증류로 내재화한다

이런 방식들은 “스킬 자체의 품질”이나 “내재화 여부”를 최적화 대상으로 본다. 하지만 PATS는 다른 질문을 던진다: 이 스킬이 다음 롤아웃 그룹에 유용한 학습 신호를 만들어내는가?

정책이 90% 성공하는 시점에서 상세한 가이드는 오히려 행동 다양성을 줄여 그룹 내 보상 분산을 낮추고, GRPO의 유효 그래디언트를 약화시킨다. 반대로 정책이 0% 성공일 때도 도움이 되지만, 정보량 측면에서 가장 풍부한 것은 성공과 실패가 혼재하는 중간 역량 구간이다.

Figure 1: 훈련 역학 — 비계 지원이 정책 역량에 따라 확장·수정·압축되는 패턴

PATS의 세 가지 설계 축

1. 증거 카드 (Group-Level Evidence Card)

각 GRPO 그룹(동일 작업에 대한 n개의 병렬 시도)에서 성공·실패 패턴을 추출해 구조화된 카드를 만든다. 카드에는 성공률, 평균 궤적 길이, 반복 실패 패턴, 대표 성공/실패 트레이스가 포함된다. 이 카드는 정책의 <think> 텍스트를 배제하고 환경 관찰-행동 쌍만 보존한다.

2. 역량 기반 스케줄러 (Competence Controller)

작업 유형별 성공률의 EMA(지수 이동 평균)와 비계 용량 압력을 추적한다. 두 임계값 $ρ_{r}$ 과 $ρ_{c}$ 가 네 가지 모드를 결정한다:

모드	조건	동작
EXPAND	$\overset{s}{ˉ} < ρ_{r}$ (0.2)	정책이 거의 실패 → 구체적 스킬/실수 추가
REVISE	$ρ_{r} \leq \overset{s}{ˉ} < ρ_{c}$ (0.2~0.4)	부분 성공 → 기존 항목 의미론적 수정
COMPRESS	$\overset{s}{ˉ} \geq ρ_{c}$ (0.4)	대부분 성공 → 중복 항목 삭제/병합
FORCED_PRUNE	용량 한계 도달	예산 준수를 위한 강제 감소

핵심 통찰은 REVISE 모드다. 단순히 “추가하거나 삭제하는” 것이 아니라, 정책의 남은 실패 패턴이 변함에 따라 비계 내용 자체를 다시 쓴다. 제거하면 가장 큰 성능 저하(−12.62 SR)를 가져오는 컴포넌트다.

Figure 3: PATS 전체 파이프라인 — 고정된 비계 스냅샷이 롤아웃을 조건화하고, 결과 궤적이 정책 업데이트와 비계 수정 양쪽으로 갈린다

3. 비계 제거 후 배포

PATS의 가장 독특한 특성은 비계를 배포 시 완전히 제거한다는 점이다. 스키마 이해를 위한 초기 SFT 단계를 거친 후, RL 훈련 동안 비계는 정책의 롤아웃 분포를 형성하는 용도로만 쓰인다. 정책 최적화는 환경 보상만으로 GRPO를 수행하고, 비계는 그래디언트 경로에 포함되지 않는다.

수학적으로 배포 목표는 다음과 같다:

$J_{deploy} (θ) = E_{q \sim D} E_{ξ \sim π_{θ} (\cdot ∣ q, \emptyset)} [r (ξ)]$

즉, 비계 $z = \emptyset$ 인 조건에서 정책이 스스로 해결해야 한다.

실험 결과

ALFWorld & WebShop

Table 1: ALFWorld 6개 작업군과 WebShop 500골 메인 결과

모델	방법	ALFWorld SR	WebShop SR	WebShop Score
1.5B	GRPO	67.86 ± 3.50	52.80 ± 1.66	0.731
1.5B	SKILL0	57.62 ± 3.21	30.80 ± 8.35	0.504
1.5B	SkillRL	47.38 ± 9.44	41.80 ± 13.11	0.699
1.5B	PATS	80.71 ± 1.54	56.33 ± 7.06	0.795
7B	GRPO	71.67 ± 2.99	57.60 ± 10.33	0.784
7B	SkillRL	84.76 ± 1.23	70.07 ± 5.26	0.858
7B	PATS	89.29 ± 1.01	76.20 ± 3.12	0.878

7B 모델에서 GRPO 대비 +17.6 SR, SkillRL(스킬 유지)과 비교해도 +4.5 SR 향상. 특히 SkillRL은 배포 시 스킬 라이브러리를 유지하는 반면, PATS는 비계를 제거하고도 더 높은 성능을 달성한다.

검색 증강 QA

7개 벤치마크(NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle)에서 SkillRL 평균 46.0 vs PATS 45.2로 근접하지만, 프롬프트 토큰은 32.1% 적다 (740 vs 1,090).

비계 제거의 효과

가장 인상적인 결과는 “비계가 훈련에 도움이 되었는가?”와 “비계가 배포에 필요한가?”를 분리한 실험에서 나온다:

SkillRL의 정적 라이브러리(55개 항목)로 웜스타트 → 비계 제거 시 70.24 ± 7.73 SR
빈 뱅크로 시작하는 PATS → 비계 제거 시 80.71 ± 1.54 SR

더 풍부한 초기 지식이 더 나은 훈련 결과로 이어지지 않는다. 오히려 정책이 스스로 실패에서 학습하도록 비계를 적응적으로 조절하는 것이, 완전한 가이드를 주는 것보다 효과적이다.

Figure 6: 컨트롤러 모드의 시간적 진화 — 초기 EXPAND에서 REVISE로, 후반 COMPRESS로 전환

왜 “좋은 스킬”이 “좋은 훈련 신호”는 아닌가

PATS의 부록 B.4는 이 질문을 정면으로 다룬다. 고정된 정책에 정적 스킬 라이브러리를 주면:

즉각적 성공률은 오른다 (37.8% 상승)
행동 다양성(action entropy)도 오른다
하지만 롤아웃 그룹 내 보상 표준편차는 감소한다

이 말은, 스킬이 정책을 더 잘하게 만들지만, 그룹 내 롤아웃들이 “비슷한 방식으로” 성공하게 만들어서 GRPO가 학습할 수 있는 비교 신호를 줄인다는 뜻이다. 확률론적으로, 그룹 내 성공·실패가 혼재할 때(≈ p=0.5) 그룹 보상 분산이 최대가 되고, 이때 GRPO의 유효 업데이트가 가장 많이 발생한다.

Figure 5: 7B 정책에서 성능-토큰 트레이드오프

POLICY 프롬프트 주입

PATS는 정책 프롬프트에 “Retrieved Relevant Experience” 블록을 삽입한다. 이 블록은 일반 원칙, 작업별 스킬, 흔한 실수의 세 층으로 구성되며, 각 항목은 짧은 제목과 “apply when” 조건을 갖는다. 비어있는 섹션은 렌더링되지 않고, 정책은 항상 하나의 사용자 메시지를 받는다.

Figure 8: 정책 프롬프트에 삽입되는 경험 블록 구조

한계와 시사점

훈련 비용: 1.5B 모델 기준 8×H20 GPU로 약 22시간 소요. 831회의 refiner 요청, 44.1M 입력 문자 처리.
단일 작업군 의존성: ALFWorld와 WebShop에서 검증되었으나, 더 다양한 환경(코딩, 웹 브라우징 등)에서의 일반화는 미확인.
혼합 보상 그룹의 이론: 부록 C의 Bernoulli 모델은 이상화된 관찰이지, 모든 환경에서 p=0.5가 최적이라는 보장은 없다.

그럼에도 PATS가 던지는 핵심 메시지는 명확하다: 에이전트 RL에서 외부 지식은 “무엇을 아느냐”가 아니라 “다음 롤아웃에서 어떤 비교를 만들어내느냐”로 평가되어야 한다.

더 실습해보고 싶은 분들께

에이전트 루프와 하네스 최적화, 강화학습 기반 에이전트 훈련에 관심이 있다면 다음 자료를 추천합니다:

『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 자동화와 루프 엔지니어링을 실전에서 다루는 활용 가이드
「모두를 위한 루프 엔지니어링」 — 에이전트 루프 설계와 최적화의 원리를 체계적으로 배우는 강의

PATS의 “비계를 적응적으로 조절하고 결국 제거한다”는 철학은, 에이전트 하네스를 직접 설계하고 튜닝하는 실무자에게도 적용할 수 있는 관점이다. 하네스가 정책의 탐색을 돕되 의존성을 만들지 않아야 한다는 것.

코난쌤 블로그

탐색기