한 줄 요약: RLVR(RL with Verifiable Rewards)은 수학·코딩에서 압도적이지만, 요약·창작·추론 같은 “정답이 없는” 영역에는 쓸 수 없었다. RLSVR은 **작업 변환(task transformation)**을 통해 비검증 가능 작업을 검증 가능한 게임으로 바꾸고, 그 구체적 인스턴스인 SpyRL은 “스파이를 찾아라” 게임으로 자기검증 보상을 만들어낸다. Duke·Adobe·Amazon 연구진이 COLM 2026에서 발표한 이 패러다임은 Qwen3-8B에서 요약 75.4%, 창작 77.3% 승률을 기록하며 기존 자기개선 방법을 크게 앞질렀다.
RLVR의 근본적 한계: “정답이 없으면 가르칠 수 없다”
RLVR(Reinforcement Learning with Verifiable Rewards)은 DeepSeek-R1, OpenAI o1 등 최신 추론 모델을 뒷받침하는 핵심 훈련 기법이다. 수학 문제면 답이 맞는지 틀린지 확인하고, 코딩이면 유닛 테스트를 돌려본다. 검증기(verifier)가 무한히 공짜 보상 신호를 만들어내기 때문에 대규모 최적화가 가능하다.
하지만 요약, 창작, 논평 같은 “열린 과제(open-ended task)“는? 정답이 없다. 기존 해법은 세 가지였다:
- RLHF / DPO: 인간 선호도 학습 → 비용이 비싸고 스케일이 안 됨
- LLM-as-a-Judge: GPT-4o 등으로 평가 → 판사 모델의 능력이 학생 모델의 한계가 됨(자명한 천장)
- 루브릭 기반 보상: 평가 기준표로 채점 → 여전히 누군가 루브릭을 만들어야 함
이 방법들은 모두 근본적으로 같은 문제를 안고 있다: 검증 불가능한 목표 Q(x,y)를 근사하는 것뿐이라는 점이다.
Figure 1: RLSVR은 RLVR의 정확한 검증과 자기지도학습(SSL)의 레이블 자동 생성 원리를 결합한 패러다임이다.
핵심 통찰: 자기지도학습(SSL)을 보상으로 가져오다
이 논문의 출발점은 놀랍도록 단순하다. **자기지도학습(self-supervised learning)**이 레이블이 없는 문제를 해결한 방법을 RLVR로 가져오자는 것이다.
SSL의 핵심 원리:
- 마스크된 토큰을 맞추기(BERT)
- 두 개의 뷰가 같은지 다른지 판별하기(대조 학습)
- 원본 작업과 다른 “전처리 작업(pretext task)“을 만들고, 그 작업의 정답은 데이터 자체에서 자동으로 생성된다
RLSVR(Reinforcement Learning with Self-Verifiable Rewards)은 이 원리를 보상 신호로 확장한다:
- 잠재 변수 주입(Latent-variable injection): 환경이 입력 x와 잠재 변수 z를 샘플링하고, z를 기록한다
- 조건부 작업 수행(Conditioned task execution): z에 따라 관측 o를 다르게 구성하고, 모델은 원래 작업을 수행한다
- 검증 가능한 상호작용(Verifiable interaction): 작업 산출물만 보고 z에 대한 질문에 답한다
- 규칙 기반 보상(Rule-based reward): 환경이 z에 대해 정답인지 판별한다
핵심: z는 환경이 정했으므로, z에 대한 예측은 수학 검증기처럼 정확히 확인 가능하다. 외부 판사도, 학습된 보상 모델도, 루브릭도 필요 없다.
SpyRL: “스파이를 찾아라” 게임으로 자기검증 보상 만들기
RLSVR의 구체적 구현체인 **SpyRL(Self-PlaY Reinforcement Learning)**은 소셜 디덕션 게임 “Who Is the Spy?”(스파이를 찾아라)에서 영감을 받았다.
게임의 구조
Figure 2: SpyRL 프레임워크. 수행 단계에서 시민은 완전한 정보를, 스파이는 열화된 정보를 받는다. 탐지 단계에서 투표로 스파이를 식별한다.
수행 단계(Performing Stage):
- n명의 에이전트 중 n-1명은 시민(civilian): 원본 입력 x를 그대로 받는다
- 1명은 스파이(spy): 정보 열화 연산자 g(x)를 통해 핵심 정보가 제거된 입력을 받는다
- 모든 에이전트가 같은 작업을 수행한다 (요약, 창작, 수학 등)
- 산출물은 공개된다
탐지 단계(Detection Stage):
- 각 에이전트가 다른 모든 산출물을 검토하고 누가 스파이인지 투표한다
- 스파이의 정체는 환경이 미리 정했으므로 투표가 맞는지 완벽하게 검증 가능하다
- 스파이로 의심받은 횟수가 많을수록 → 출력 품질이 낮다는 신호
도메인별 정보 열화 전략
Figure 3: 도메인별 SpyRL 구현. 열화 연산자 g(·)는 요약·창작에서는 연속 구간 마스킹, 수학에서는 부분 컨텍스트 제거를 사용한다.
세 가지 작업에 대해 정보 열화를 다르게 설계한 것이 이 논문의 정교함이다:
| 도메인 | 시민의 입력 | 스파이의 입력 (g(x)) | 열화 효과 |
|---|---|---|---|
| 요약 | 전체 문서 | 문서의 50%를 마스킹 (연속 구간) | 핵심 정보 누락 → 요약 품질 저하 |
| 창작 | 전체 프롬프트 | 프롬프트 일부 마스킹 | 창의적 단서 부족 |
| 수학 | 전체 문제+컨텍스트 | 문제 해결에 필요한 중간 단계 제거 | 추론 과정의 빈틈 노출 |
중요한 설계 원칙: g(·)는 스타일, 길이, 주제 일관성은 보존한다. 표면적 단서(예: 더 짧은 출력, 다른 언어)로 스파이를 찾는 것을 막기 위해서다. 오직 작업 수행 능력의 차이만으로 스파이를 식별할 수 있어야 한다.
제로섬 보상 설계: 스파이와 시민의 공동 진화
SpyRL의 보상 구조는 정교하게 설계된 제로섬 게임이다.
탐지 단계 보상 (완전히 검증 가능):
- r_i^D = 1 (스파이를 정확히 찾아내면)
- r_i^D = 0 (틀리면)
- GRPO 스타일 그룹 내 상대적 이점 정규화 사용
수행 단계 보상 (탐지 결과에서 파생):
- 스파이 보상: r_u^P = -β(m_u - m̄_c) — 의심 표를 많이 받을수록 벌점
- 시민 보상: r_c^P = (β/n_c)(m_u - m̄_c) - λ(m_c - m̄_c) — 스파이가 들통날수록 시민이 득점
여기서 m_u는 스파이가 받은 의심 표 수, m̄_c는 시민 평균 의심 표 수다. 스파이와 시민의 보상 합은 항상 0이다. 이것이 지속적인 공동 진화(co-evolution)를 가능하게 한다.
Role-Advantage Estimation (RAE)
정보 비대칭 때문에 스파이와 시민의 보상 분포가 다르다. 이를 보정하지 않으면 학습에 편향이 생긴다. SpyRL은 **역할별 이점 추정(Role-Advantage Estimation)**을 도입해 정보 비대칭으로 인한 체계적 편향을 제거한다. 후속 어블레이션에서 RAE를 제거하면 평균 성능이 50.4에서 37.5로 추락하는 것으로 그 중요성이 입증된다.
실험 결과: 기존 자기개선 방법을 압도하다
요약 태스크
Table 1: 요약 벤치마크 결과. ROUGE-L 기준으로 SpyRL이 일관되게 최상위 성능을 기록한다.
Qwen3-8B 기준:
- SpyRL 요약 승률: 75.4% (기존 자기진화 방법들은 50% 근처에서 미미한 향상만)
- 과학/도메인 요약에서도 일관된 우위
창작 태스크
Qwen3-8B 기준 창작 승률: 77.3% — 기존 self-play 방법들이 거의 효과가 없었던 것과 대조적.
수학 추론 태스크
SpyRL은 수학처럼 이미 검증기가 있는 영역에서도 추가 이득을 제공한다:
- Qwen3-4B: +8.97% (7개 벤치마크 평균)
- Qwen3-8B: +6.16% (7개 벤치마크 평균)
이 결과가 흥미로운 이유: 이미 정답 검증이 가능한 영역에서도, “스파이 게임”이라는 추가적인 학습 신호가 모델의 추론 능력을 더 끌어올린다는 것이다.
의심 표와 품질의 상관관계
Figure 4: 의심 표를 많이 받은 출력일수록 실제 품질이 낮다. 이는 규칙 기반 보상이 실제 품질과 강한 상관관계가 있음을 입증한다.
이것이 RLSVR 패러다임의 타당성을 입증하는 가장 중요한 증거다: 의심 표 수와 실제 출력 품질 사이에 강한 역상관관계가 있다. 즉, “스파이로 들통났다”는 신호가 “출력 품질이 낮다”는 신호로서 통계적으로 유효하다.
어블레이션: 무엇이 효과인가
핵심 발견:
- RAE 제거: 7-벤치마크 평균 50.4 → 37.5 (12.9점 붕괴) — 정보 비대칭 보정이 없으면 학습이 붕괴함
- 수행 단계만(탐지 없음): 큰 향상 없음 — 투표 없이 생성만 반복하는 것은 의미 없음
- 그룹 크기(n) 효과:
Figure 5: 그룹 크기가 클수록(더 많은 시민) 탐지 신호가 안정적이 되어 성능 향상이 커진다.
그룹 크기가 커질수록 탐지 신호가 더 안정적이 된다. 하지만 계산 비용도 선형으로 증가하므로, 논문은 n=4~6을 실용적 가용점으로 제안한다.
이 논문이 중요한 진짜 이유
1. “검증 가능 = 수학/코딩”이라는 공식을 깼다
지금까지 RLVR의 적용 가능 영역은 “정답이 존재하는” 도메인으로 제한되었다. RLSVR은 작업 변환을 통해 어떤 도메인이든 검증 가능하게 만들 수 있다는 것을 최초로 입증했다. 이것은 단순한 기술적 개선이 아니라 패러다임 확장이다.
2. 판사 모델(judge)에 대한 의존 제거
LLM-as-a-Judge의 근본적 한계는 “판사가 학생보다 똑똑해야 한다”는 것이다. SpyRL은 판사가 필요 없다. 동료 에이전트들의 집단 지성이 판사 역할을 하고, 그 판결은 환경이 정한 정답으로 검증된다.
3. SSL ↔ RL의 구조적 유사성 정립
이 논문이 제시하는 가장 깊은 통찰은 자기지도학습과 강화학습의 구조적 유사성이다:
- SSL의 pretext task ↔ RLSVR의 작업 변환 Φ
- SSL의 자동 레이블 ↔ RLSVR의 잠재 변수 z
- SSL의 표현 학습 ↔ RLSVR의 보상 신호
이 매핑은 향후 다양한 작업 변환 전략을 체계적으로 설계할 수 있는 이론적 프레임워크를 제공한다.
4. 한계와 남은 과제
- 정보 열화 설계의 민감도: g(·)가 너무 약하면 스파이가 안 들통나고, 너무 강하면 표면적 단서가 된다
- 도메인 확장: 요약·창작·수학 외에 더 복잡한 멀티모달·에이전트 작업으로의 확장은 미검증
- 스케일: 현재 Qwen3-4B/8B 수준. 70B+ 모델에서의 효과는 미지수
- 그룹 크기 비용: 더 큰 그룹이 더 좋지만, 샘플링 비용이 선형으로 증가한다
더 실습해보고 싶은 분들께
RLSVR과 SpyRL이 보여주는 핵심 — “작업을 변환해서 검증 가능한 보상을 만들어낸다” — 은 에이전트 자기개선 루프를 설계하는 사람들에게 직접적인 영감을 준다. 에이전트에게 “네가 만든 결과물을 동료 에이전트와 비교해서 더 나은 쪽을 골라라”라고 시키는 것만으로도, 외부 보상 모델 없이 학습 루프를 만들 수 있다는 이야기다.
이런 루프 엔지니어링과 에이전트 하네스 설계를 더 깊이 파고 싶다면:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 루프를 실제로 구성하고 자동화하는 구체적 활용법
- 「모두를 위한 루프 엔지니어링」 — 관찰-행동-검증-반복 루프를 설계하는 체계적 방법론
코드와 모델은 GitHub 저장소에 공개되어 있다.
논문: From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement (COLM 2026, Qinsi Wang et al., Duke/Adobe/Amazon)