LLM 에이전트가 자기 자신을 개선하는 루프를 돌릴 수 있다면, 그 루프는 믿을 수 있는가? RSIBench-Data는 이 질문에 대해 4개 프론티어 에이전트·6개 벤치마크·동일한 훈련 스택이라는 통제된 환경에서 대답을 시도한다. 결과는 양면적이다. 에이전트는 58.33% 설정에서 첫 시도를 피드백 루프로 개선하지만, 피크에 도달한 뒤 계속 탐색한 경우 78.26%가 오히려 더 낮은 시도로 끝난다. “발견은 하되, 신뢰할 수는 없다”는 이 격차가 재귀적 자기개선(Recursive Self-Improvement, RSI)의 현재 한계를 정의한다.
문제: 재귀적 자기개선에서 데이터 중심 연구 능력을 어떻게 분리해서 측정할 것인가
재귀적 자기개선이 작동하려면 AI 시스템이 모델의 실패 증거를 수집하고, 그것을 더 나은 훈련 데이터로 변환한 뒤, 체크포인트 피드백에서 학습해야 한다. 이 중 데이터 중심 포스트트레이닝 연구(data-centric post-training research) — 능력 격차 진단, 훈련 데이터 전략 설계 및 검증, 피드백 기반 전략 수정 — 가 핵심이다.
문제는 기존 벤치마크들이 이 연구 능력을 최적화·서빙·평가·시스템 구현과 뒤섞어 측정한다는 점이다. PostTrainBench나 Agent2 RL-Bench는 에이전트에게 포스트트레이닝 스택 전체를 열어주지만, 점수 향상이 데이터 연구 결정에서 비롯되었는지, 하이퍼파라미터 튜닝에서 비롯되었는지, 아니면 서빙 최적화에서 비롯되었는지 알 수 없다.
RSIBench-Data는 다른 접근을 취한다. 훈련·서빙·평가 스택을 완전히 고정하고, 에이전트가 제어할 수 있는 유일한 변수를 훈련 데이터 전략으로 한정한다. 베이스 모델, LoRA SFT 최적화기, 서빙 경로, 평가 샌드박스, 검증기, 채점 규칙이 모든 에이전트에게 동일하게 적용된다. 남는 변수는 오직 “어떤 훈련 데이터를 만들고 어떻게 구성할 것인가”이다.
프레임워크: 고정된 스택 위에서 데이터 연구 루프를 격리하다
통제된 변수 설계
RSIBench-Data의 핵심 통제 구조는 단순하다. 에이전트는 훈련 경험(training experience)을 제출하지만, 그것을 체크포인트로 변환하는 파이프라인에 손대지 못한다.
구체적으로:
- 베이스 모델: Qwen/Qwen3.5-35B-A3B-Base로 고정
- 훈련: Tinker 백엔드의 LoRA SFT로 고정, 에이전트는 화이트리스트 내 설정만 조정 가능
- 평가: Harbor가 오케스트레이션하는 E2B 샌드박스에서 공식 검증기 및 채점 규칙으로 고정
- 예산: 16시간 wall-clock, $500 Tinker 예산으로 각 런에 동일하게 적용
에이전트가 제어하는 것은 데이터 합성 정책뿐이다: 데이터 소스 선택, 태스크 및 환경 구성, 궤적(trajectory) 표현, 필터링 규칙, 검증 방법, 난이도 커리큘럼, 데이터 믹스, 훈련 노출 등. 이 선택들이 베이스 모델에 주입되어 체크포인트가 만들어지고, 고정된 평가기가 점수와 궤적, 검증 결과, 실행 진단을 반환한다.
4×6 매트릭스: 프론티어 에이전트 × 다양한 벤치마크
4개의 프론티어 에이전트가 평가된다:
- Claude Code (Opus-4.8) — high reasoning effort
- Claude Code (Sonnet-5) — high reasoning effort
- Codex (gpt-5.6-sol) — max reasoning effort
- Codex (gpt-5.6-terra) — max reasoning effort
외부 롤아웃 모델은 Claude Opus 4.8로 고정된다. 즉, 추론 궤적·도구 사용 시퀀스를 생성하는 모델이 동일하므로, 차이는 오직 리서처 에이전트의 데이터 전략에서 비롯된다.
6개 벤치마크는 각각 다른 훈련 경험 영역을 다룬다:
- SWE-bench Verified / Multilingual / Pro — 리포지토리 기반 코드 수정 및 태스크 완료
- Terminal-Bench 2.0 — 장시간 도구 사용 및 검증
- GPQA Diamond — 검증 가능한 과학 추론
- AIME 2026 — 수학적 추론 및 난이도 제어
Table 1: 기존 벤치마크와 RSIBench-Data의 프로토콜 수준 비교 — 데이터 합성 연구, 폐루프 진화, 통제된 인프라 기준에서 차이를 보여준다. (원문 Table 1 참조)
실험 결과: 발견-신뢰성 격차(Discovery-Reliability Gap)
핵심 발견: 58.33%는 개선되지만 78.26%는 퇴보로 끝난다
가장 중요한 수치 두 개는 다음과 같다:
- 58.33% 설정에서 피드백 루프가 첫 시도를 개선한다. 에이전트가 두 번째 이후 시도에서 더 나은 훈련 데이터 전략을 발견했다는 뜻이다.
- 하지만 피크 도달 후 계속 탐색한 23개 설정 중 78.26%(18개)가 더 낮은 시도로 종료된다. 나머지 5개도 피크를 회복하지 못하고 같은 점수로 끝난다. 피크 이후 개선한 사례는 단 하나도 없다.
이것이 논문이 명명한 발견-신뢰성 격차이다. 에이전트는 분명 새로운 것을 발견할 수 있지만, 그 발견을 일관되게 축적하지 못한다. 피드백을 더 나은 데이터 전략으로 변환하는 능력이 불안정하다.
단일 에이전트가 지배하지 않는다
어떤 에이전트도 6개 벤치마크를 통틀어 일관되게 1위하지 않는다:
- SWE-bench Verified: Claude Code Opus-4.8 선두
- SWE-bench Multilingual: Claude Code Sonnet-5 선두
- SWE-bench Pro: Codex gpt-5.6-sol 선두
- GPQA Diamond: Codex gpt-5.6-sol 선두
- AIME 2026: Codex gpt-5.6-sol 선두
- Terminal-Bench 2.0: Codex gpt-5.6-sol 선두
Codex gpt-5.6-sol이 4개 벤치마크에서 선두이지만, 3개 SWE 벤치마크는 서로 다른 에이전트가 이긴다. 베스트-투-워스트 격차도 벤치마크마다 크게 다르다: SWE-bench Pro에서 8%p, AIME 2026에서 20%p. 이는 에이전트-벤치마크 상호작용이 순위를 결정하며, 범용적인 “가장 좋은 리서처 에이전트”는 아직 존재하지 않음을 시사한다.
궤적 분석: 개선은 있지만 단조롭지 않다
궤적을 자세히 들여다보면 벤치마크마다 매우 다른 패턴이 나타난다:
AIME 2026에서는 Claude Code Sonnet-5가 처음 8개 시도 동안 15% 이하에 머물다가 9번째에서 55%로 급등한다. “단계적 개선”이 아니라 전략 전환에 의한 불연속 도약이다. 이는 데이터 합성 파이프라인에서 질적 변화가 일어났음을 시사한다.
Terminal-Bench 2.0에서는 Codex gpt-5.6-sol이 첫 시도 실패 후 회복하여 7.87% → 15.73%로 올렸다가 다시 13.48%로 떨어진다. 베이스 모델의 1.12%에 비하면 큰 향상이지만, 피크 이후 퇴보가 명확히 관찰된다.
GPQA Diamond는 이미 56-65%대에서 시작해 헤드룸이 작다. 4개 에이전트 모두 첫 시도를 개선하지만, 중위 개선폭은 4%p에 불과하다.
비용 효율성: 비싼 것이 반드시 더 좋은 것은 아니다
24개 메인 런의 중위 wall-clock 시간은 6.55시간, 중위 유효 후보당 Tinker 비용은 4.80~$363.77.
주목할 만한 대비:
- Codex gpt-5.6-sol은 GPQA Diamond에서 2.42시간, $10.37로 65%에 도달
- Codex gpt-5.6-terra는 같은 벤치마크에서 1.14시간, $4.80로 64%에 도달
- Claude Code Sonnet-5는 Terminal-Bench 2.0에서 8.87시간, $156.93을 썼지만 5.62%에 그쳐
피크 이후 추가 지출이 프론티어를 갱신하지 못하는 경우도 흔하다. Codex gpt-5.6-sol은 Terminal-Bench에서 23.79를 더 썼지만 13.48%로 퇴보했다.
메커니즘 분석: 왜 어떤 런은 성공하고 어떤 런은 실패하는가
논문은 궤적을 코딩하여 네 가지 패턴을 식별한다:
- 정확한 가설 (Accurate hypotheses): 에이전트가 타겟 모델의 실제 약점을 올바르게 진단
- 검증 기반 감독 (Validation-grounded supervision): 실행 가능한 검증 신호에 근거해 훈련 데이터를 구성
- 행동 정렬 데이터 (Behavior-aligned data): 평가 프로토콜이 요구하는 행동과 훈련 데이터의 행동이 일치
- 강한 체크포인트 보존 (Preservation of strong checkpoints): 더 나은 전략을 찾지 못할 때 기존 피크를 보존
추론 노력(reasoning effort)의 영향
Figure 5: SWE-bench Verified에서 Claude Code Sonnet-5를 high effort와 max effort로 비교한 진단. max effort가 더 적은 시도로 더 큰 데이터셋을 구성하며 더 높은 점수에 도달한다. (원문 Figure 5 참조)
흥미롭게도 max reasoning effort는 더 많은 시도를 하는 대신 더 깊은 단일 후보를 만들어낸다. high effort가 50개 레코드(595 trainable turns, 401.70)를 생성했다. 시도 횟수는 줄었지만 데이터 품질이 올라갔다. 이는 탐색의 폭보다 깊이가 데이터 연구에서 더 중요할 수 있음을 시샘한다.
행동 정렬 사례: SWE-bench Pro에서 실제 제출 행동을 가르쳐야 한다
Codex gpt-5.6-sol의 SWE-bench Pro 궤적은 중요한 교훈을 제공한다. 에이전트는 실행에서 성공한 수리 궤적을 가지고 있었지만, 초기에는 합성 “완료” 액션으로 태스크 종료를 가르쳤다 — 이는 7%로 퇴보했다. 대신 실제 성공 궤적에서 추출한 제출 행동(코드 리뷰, 편집 검증, 태스크 제출)으로 감독을 바꾸자 9%에 도달했다. 패치가 맞아도 제출 행동을 모델이 학습하지 않으면 점수로 연결되지 않는다.
동일 모델군 RSI 실험: Kimi K2.6이 Kimi K2.6을 개선하려 시도한 결과
논문은 메인 매트릭스 밖에서 흥미로운 탐색적 실험을 수행한다. Claude Code 하네스를 쓴 Kimi K2.6이 리서처 에이전트가 되고, Kimi K2.6 명령어 튜닝 모델이 타겟이 되는 동일 모델군 RSI 설정이다.
결과는 8% → 10% → 21% → 16% → 22% → 21%의 궤적이다. 분명 전략은 진화하지만, 모든 체크포인트가 33% 미적응 모델 기준선 아래에 머문다. 타겟이 이미 능력 있는 명령어 모델이기 때문에, 현재 리서처의 RSI 능력으로는 개선하는 훈련 분포를 발견하지 못한 것으로 해석된다.
이 실험이 보여주는 핵심은: 데이터 파이프라인 개선이 점수 향상으로 이어질 수 있지만, 원점(base model)을 넘는 진짜 개선은 훨씬 더 어렵다는 것이다. 궤적 속도가 아니라 “원점 대비”라는 절대적 기준에서 현재의 자율 RSI는 한계에 직면해 있다.
시사점: 재귀적 자기개선의 현재와 구조적 과제
1. 발견과 신뢰성은 다른 차원의 능력이다
에이전트가 한 번의 좋은 발견을 할 수 있다고 해서, 그 발견을 일관되게 재현하거나 축적할 수 있는 것은 아니다. 58.33%의 발견률과 78.26%의 피크 이후 퇴보율은 발견 능력과 신뢰성이 독립적인 기술임을 시사한다. 자기개선 루프의 실용성은 발견 자체가 아니라 발견을 안정적으로 보존하는 메커니즘에 달려 있다.
2. 정지 규칙과 체크포인트 선택이 핵심이다
논문의 데이터는 “언제 멈춰야 하는가”가 데이터 연구의 숨겨진 핵심 결정임을 드러낸다. historical-best 선택 규칙이 퇴보를 방지하지만, 실제로는 피크 이후에 수십~수백 달러가 낭비되고 있다. 효과적인 정지 규칙과 체크포인트 보존 전략이 없으면, 발견한 개선을 비용 효율적으로 배포할 수 없다.
3. 범용 리서처 에이전트는 아직 없다
어떤 에이전트도 6개 벤치마크를 일관되게 지배하지 못한다. 태스크 패밀리(SWE vs Terminal vs QA vs Math)와 에이전트 정책의 상호작용이 성능을 결정한다. 이는 현재의 프론티어 에이전트들이 범용적 데이터 연구 능력이 아니라, 특정 영역에 편향된 강점을 가지고 있음을 의미한다.
4. 통제된 평가 인프라의 가치
RSIBench-Data의 진정한 기여는 벤치마크 점수가 아니라 **평가 가능성(auditability)**에 있다. Tinker 훈련, Harbor-E2B 평가, 고정 예산을 통해 성능 차이를 데이터 정책에 정확히 귀속시킬 수 있다. 이 구조가 없다면 “에이전트가 자기를 개선했다”는 주장은 검증 불가능한 이야기로 남는다.
더 실습해보고 싶은 분들께
에이전트 루프, 하네스 엔지니어링, 자기개선 시스템에 직접 관심이 있다면:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스와 자동화 루프를 실무에서 어떻게 설계하고 활용하는지 체감할 수 있습니다.
- 「모두를 위한 루프 엔지니어링」 — 피드백 루프를 엔지니어링 관점에서 체계적으로 다루는 강의입니다. RSIBench-Data가 드러낸 “발견-신뢰성 격차”를 직접 실험해보고 싶은 분들에게 특히 유용합니다.
논문: RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement (Evolvent AI & NUS, 2026.07) 코드: github.com/evolvent-ai/RSIBench-Data