에이전트 스킬을 자동으로 만드는 문제를 RL로 풀었습니다. 핵심은 스킬 생성을 한 번에 하는 게 아니라 순차적 편집 과정으로 쪼개고, 각 편집마다 롤백 보상으로 평가하는 겁니다.
논문: Skill-α: Progressive Agent Skill Generation via Reinforcement Learning 코드: github.com/ejhshen/skill-alpha
스킬 생성이 어려운 이유
에이전트 스킬은 재사용 가능한 절차 모듈입니다. 문서에서 만들거나 경험에서 추출할 수 있는데, 기존 방법은 증거 소스마다 따로 설계해야 합니다.
문서→스킬은 규칙을 압축하고, 경험→스킬은 궤적에서 교훈을 증류합니다. 근데 둘 다 휴리스틱이나 파이프라인에 의존합니다.
학습 기반 방법이 더 통일적이지만, 스킬에는 자연스러운 정답 신호가 없습니다. 수학 추론은 정답을 비교하면 되지만, 스킬은 “이 스킬이 좋은가?”를 직접 판단하기 어렵습니다. 스킬의 가치는 하위 작업에서 에이전트가 어떻게 행동하느냐로만 알 수 있습니다.
Skill-α의 구조
왼쪽이 추론, 오른쪽이 훈련입니다.
점진적 스킬 생성
스킬을 한 번에 만들지 않습니다. 증거를 순차적으로 읽으면서 현재 스킬을 한 단계씩 편집합니다.
각 단계에서 편집 정책 πϕ가 현재 스킬 상태 z(t-1)와 증거 x(t)를 보고 편집 행동 A(t)를 선택합니다. 행동 공간은 5가지입니다.
| 행동 | 기능 |
|---|---|
| Create | 새 규칙이나 절차 추가 |
| Update | 불완전하거나 부정확한 규칙 수정 |
| Merge | 겹치는 내용 통합 |
| Prune | 잘못되거나 과도하게 특수한 내용 삭제 |
| Noop | 변경 없음 |
T단계 후 최종 스킬 z(T)가 에이전트 컨텍스트에 들어갑니다.
롤백 보상
여기가 이 논문의 핵심입니다. 편집 하나의 가치를 어떻게 측정할까?
편집 전 스킬 z(t-1)와 편집 후 스킬 z(t)로 같은 앵커 질문에 답하게 합니다. 검증기가 두 답변을 비교해서 편집 후가 더 나으면 보상 1, 아니면 0입니다.
R = 1[편집 후 정답 > 편집 전 정답]
이걸 “롤백 보상”이라 부릅니다. 편집 전으로 돌아가서(rollback) 비교하니까요. 그룹 내 여러 편집 후보를 샘플링하고 GRPO로 정책을 업데이트합니다.
롤백 보상이 중요한 이유는 신용 할당 문제를 풀기 때문입니다. 스킬 전체를 한 번에 평가하면 어느 부분이 도움이 됐는지 알 수 없습니다. 근데 편집 단위로 비교하면 “이 수정이 도움이 됐는가”를 직접 측정할 수 있습니다.
실험 결과
문서→스킬 (CL-Bench)
GPT-4o 워커 기준으로 Skill-α는 CL-Bench 4개 카테고리 평균 10.38점입니다. 가장 강한 베이스라인 대비 +3.3점 향상입니다.
경험→스킬 (tau2-bench)
| 방법 | SpreadsheetBench | Airline | Retail | Telecom | tau2 평균 |
|---|---|---|---|---|---|
| No Skill | 18.00 | 42.50 | 85.50 | 42.50 | 56.67 |
| Trace2Skill | 20.00 | 70.00 | 86.00 | 32.50 | 62.83 |
| SkillX | 31.50 | 75.00 | 85.00 | 35.00 | 65.00 |
| SkillPro | 20.50 | 60.00 | 87.00 | 45.00 | 64.00 |
| Skill-α | 31.50 | 80.00 | 86.00 | 45.00 | 70.33 |
tau2-bench 평균에서 가장 강한 베이스라인 대비 +6.7점 향상입니다. Airline(40→80)과 Telecom(12.5→22.5)에서 특히 큰 폭으로 올랐습니다.
크로스 워커 일반화
GPT-4o로 스킬을 만들고 Claude-Sonnet-4.5에서 썼을 때도 효과가 유지됩니다. 스킬이 특정 모델의 프롬프트 꼼수가 아니라 범용적 작업 지식이라는 뜻입니다.
제거 실험
| 변형 | CL-Bench 평균 | SpreadsheetBench | tau2 평균 |
|---|---|---|---|
| Skill-α (전체) | 10.38 | 27.50 | 55.83 |
| SFT only | 3.46 | 15.50 | 44.17 |
| 롤백 보상 제거 | 3.68 | 17.00 | 46.67 |
| Merge/Prune 제거 | 4.74 | 20.00 | 39.17 |
| Noop 제거 | 9.55 | 22.00 | 53.33 |
롤백 보상을 빼면 SFT-only와 비슷해집니다. 롤백 보상이 이 시스템의 핵심 신호라는 걸 보여줍니다.
Merge/Prune을 빼면 tau2 평균이 39.17로 크게 떨어집니다. 스킬이 계속 쌓이기만 하면 중복과 충돌이 생겨서 해롭습니다.
Noop을 빼면 성능이 약간 떨어집니다. 현재 스킬이 충분할 때 강제로 편집하면 노이즈가 들어가기 때문입니다.
증거 배치 크기 분석
한 단계에 몇 개의 증거를 보여줄지가 성능에 큰 영향을 미칩니다.
| 배치 크기 | SpreadsheetBench | tau2 평균 |
|---|---|---|
| 1개 | 22.00 | 47.50 |
| 2개 | 23.50 | 53.33 |
| 4개 | 27.50 | 55.83 |
| 8개 | 20.00 | 48.33 |
4개가 최적입니다. 너무 작으면 편집이 단기 실패에 과민반응하고, 너무 크면 여러 패턴이 섞여서 편집 초점이 흐려집니다.
정리
Skill-α의 기여는 세 가지입니다.
- 스킬 생성을 점진적 편집 결정으로 모델링해서 문서/경험 소스를 하나의 프레임워크로 통일
- 롤백 보상으로 편집 단위 신용 할당 문제 해결
- GRPO + 5개 행동 공간으로 스킬을 만들고 유지보수하는 학습된 정책
한계점도 명확합니다. 보상과 검증기가 벤치마크에 의존하고, 스킬 표현이 텍스트 기반입니다. 더 일반적인 검증기와 멀티모달 스킬 형식은 후속 연구 과제입니다.