논문: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget 코드: github.com/MindLab-Research/longstraw 저자: Changhai Zhou, Kieran Liu, Yuhua Zhou, Qian Qiao 외 21인 (MindLab Research) 발표: 2026년 7월 16일, arXiv
핵심 요약
AI 에이전트가 긴 작업을 수행할수록 관찰, 도구 출력, 문서, 이전 결정들이 누적되어 컨텍스트가 빠르게 증가한다. 그런데 추론(inference)은 이미 100만 토큰 시대에 진입했지만, RL 포스트트레이닝은 대부분 256K 이하에 머물러 있으며 배포 시 길이 일반화(length generalization)에 기대고 있다.
이 간극은 에이전트 품질에 직결된다. 긴 궤적에서 훈련되지 않은 모델은 축적된 맥락을 제대로 활용하지 못한다.
LongStraw는 이 문제를 해결하는 아키텍처 인식 실행 스택이다. 핵심 아이디어는 단순하다: 프롬프트 상태를 한 번 캡처하고, 짧은 응답 브랜치만 직렬로 재생(replay)하라. 이를 통해 GRPO(Group Relative Policy Optimization) 그룹의 모든 멤버가 동일한 프롬프트 상태를 공유하면서도, 훈련 그래프는 응답 부분만 유지하여 메모리를 극적으로 절약한다.
8대의 H20 GPU에서 Qwen3.6-27B(하이브리드 순환 + 풀 어텐션)로 210만 포지션의 그룹화된 스코어링과 응답 백워드를 완료했으며, 스트레스 테스트에서는 446만 포지션에 도달했다. 32대의 H20에서는 GLM-5.2(압축 어텐션 MoE)의 78개 레이어 전체에 걸쳐 210만 토큰 프롬프트의 엔드투엔드 실행 경로를 검증했다.
문제: 추론과 훈련의 컨텍스트 격차
추론 시스템은 이미 수백만 토큰 컨텍스트를 지원하지만, RL 포스트트레이닝은 256K 이하에 머물러 있다. 이 격차는 에이전트의 긴 궤적 학습을 제한한다.
현재 최신 추론 시스템은 100만~200만 토큰의 컨텍스트를 처리할 수 있다. 그러나 RL 포스트트레이닝, 특히 GRPO는 각 그룹 멤버에 대해 별도의 포워드/백워드 패스가 필요하므로, 컨텍스트가 길어지면 GPU 메모리가 폭발적으로 증가한다.
예를 들어 210만 토큰 프롬프트에 그룹 크기 8의 GRPO를 적용하려면, 기존 방식으로는 8개의 독립적인 풀 시퀀스 포워드/백워드가 필요하다. 이는 32대의 H20 GPU에서조차 OOM(Out of Memory)을 발생시킨다.
LongStraw의 세 가지 핵심 설계
LongStraw는 메모리 폭발을 막기 위해 세 가지 기술을 결합한다.
1. 공유 프롬프트 무자동미분 평가 (Shared Prompt No-Grad Evaluation)
GRPO에서 모든 그룹 멤버는 동일한 프롬프트를 공유한다. LongStraw는 프롬프트 부분을 autograd 없이 한 번만 평가하고, 응답 이후 토큰에 필요한 최소한의 모델 상태만 보존한다. 이렇게 캡처된 “durable prompt state”는 이후 토큰들이 참조할 수 있는 고정된 컨텍스트로 작용한다.
2. 응답 브랜치 직렬 재생 (Serial Response Branch Replay)
토큰 믹싱 방식(순환 vs 풀 어텐션)과 파라미터 밀도(Dense vs MoE)라는 두 축을 보여준다. 파란 밴드는 토큰 믹싱과 보존되는 프롬프트 상태를, 초록 밴드는 FFN/MoE 파라미터를 나타낸다.
길이가 짧은 응답 브랜치들을 한 번에 하나씩 재생하여 백워드를 수행한다. 동시에 모든 응답을 메모리에 올려두는 대신, 하나의 응답만 라이브 훈련 그래프에 유지한다. 이는 GPU 메모리를 응답 길이에 비례하도록 제한하여, 프롬프트 길이와 무관하게 일정한 메모리 풋프린트를 유지한다.
3. 아키텍처 인식 상태 관리
Dense/MoE와 순환/풀 어텐션 조합에 따라 경계를 넘나드는 상태의 종류가 다르다. LongStraw는 각 아키텍처에 맞는 상태 보존 전략을 적용한다.
LongStraw는 단일 아키텍처가 아니라 두 가지 독립축(토큰 믹싱: 순환 vs 풀 어텐션, 파라미터 밀도: Dense vs MoE)을 다룬다. Qwen3.6-27B는 하이브리드 순환 + 풀 어텐션이고, GLM-5.2는 압축 어텐션 MoE다. 각 조합마다 프롬프트 경계를 넘나드는 상태의 종류가 다르며, LongStraw는 이를 식별하여 필요한 최소 상태만 보존한다.
Durable 행은 no-grad 프리픽스 캡처 후에도 살아남아 응답 토큰이 읽는 상태다. Transient 행은 캡처 중에만 존재하고 이후 해제된다.
실행 파이프라인
프롬프트 캡처 → 직렬 응답 재생 → 그래디언트 집적 → 단일 옵티마이저 스텝
전체 파이프라인은 다음과 같이 진행된다:
- 프롬프트 캡처: CP(Context Parallelism) 32로 프롬프트를 순전파하여 rank-local 저장소에 MLA/DSA 상태를 페이지 단위로 보관
- 직렬 응답 GRPO: G개의 응답이 하나의 프리픽스를 공유하며, old/policy/ref 스코어를 고정한 후 LoRA 그래디언트를 누적
- 분산 그래디언트 확정: 모든 응답의 백워드가 끝나면 분산 그래디언트를 확정
- 단일 옵티마이저 스텝: 정확히 한 번의 옵티마이저 업데이트를 수행
청크된 LM 헤드, 크로스 엔트로피, 활성화 입력 오프로드, DSA 홀더 해제, MoE 재생 체크포인팅이 워킹셋을 명시적으로 만든다.
주요 결과
| 지표 | 값 |
|---|---|
| Qwen3.6-27B (8×H20) 포지션 수 | 210만 (G=2, G=8 모두 완료) |
| 그룹 크기 증가 시 추가 메모리 | 0.21 GB (G=2 → G=8) |
| 스트레스 테스트 최대 포지션 | 446만 |
| GLM-5.2 (32×H20) 레이어 수 | 78개 전체 엔드투엔드 검증 |
| 표준 풀 시퀀스 210만 토큰 | OOM (139.74GiB 프로세스 메모리) |
| LongStraw 동일 설정 | 성공 (피크 145.15GB) |
가장 인상적인 것은 그룹 크기를 2에서 8로 늘려도 추가 메모리가 단 0.21 GB라는 점이다. 이는 응답 브랜치만 직렬로 재생하기 때문에, 그룹 크기가 메모리가 아닌 시간에만 영향을 미치기 때문이다.
병렬 레이아웃의 의미
컨텍스트 병렬성은 프롬프트 상태를 분할하고, 전문가 병렬성은 MoE 라우팅을 다룬다. LongStraw는 두 축을 모두 활용한다.
LongStraw는 컨텍스트 병렬성(CP32)으로 프롬프트 상태를 32개 랭크에 분산하고, 전문가 병렬성(EP32)으로 MoE 모델의 라우팅을 처리한다. rank-local DSA 후보를 수집하여 CP32 전체에 걸쳐 결정론적으로 병합한 후 재생 레이아웃으로 materialize한다.
한계와 정직한 제보
이 논문의 가장 돋보이는 점 중 하나는 정직한 한계 보고다:
- 캡처된 프롬프트 상태는 detached (그래디언트가 흐르지 않음)
- 일부 분산 포워드 및 그래디언트 합성 경로가 아직 미완성
- 따라서 이 결과는 “완전한 훈련 정확성”이 아닌 **“실행 용량(execution capacity)“**을 입증하는 것
즉, 200만 토큰에서 훈련이 돌아간다는 것을 보였지만, 그 그래디언트가 완전히 정확한지는 아직 검증되지 않았다.
에이전트 시스템에 대한 시사점
LongStraw의 의의는 단순히 “긴 컨텍스트 훈련이 가능하다”가 아니다. 에이전트 RL이라는 맥락에서:
- 긴 궤적 학습: 에이전트가 수만 단계의 도구 사용, 문서 검색, 코드 실행을 거치며 축적한 컨텍스트를 그대로 훈련에 사용할 수 있게 된다.
- 비용 효율성: 8대의 H20 GPU로 200만 토큰 GRPO가 가능하다는 것은, 대규모 클러스터 없이도 긴 궤적 에이전트 훈련이 가능함을 의미한다.
- 그룹 크기 확장성: 그룹 크기를 늘려도 메모리가 거의 증가하지 않으므로, 더 많은 롤아웃을 통한 더 풍부한 보상 신호를 비용 없이 얻을 수 있다.
결론
LongStraw는 긴 컨텍스트 RL 포스트트레이닝의 인프라 병목을 해결하는 실용적인 시스템이다. 프롬프트 상태 캡처와 직렬 응답 재생이라는 단순하지만 강력한 아이디어로, 고정 GPU 예산에서 200만 토큰까지 확장할 수 있음을 보였다.
물론 아직 해결해야 할 문제가 있다. detached 프롬프트 상태의 그래디언트 정확성, 분산 합성 경로의 완성, 그리고 실제 에이전트 워크로드에서의 검증이 그것이다. 그러나 방향은 명확하다: 에이전트가 경험하는 전체 컨텍스트에서 훈련하는 것이 더 이상 메모리의 문제가 아니라 시간의 문제로 전환되고 있다.
더 실습해보고 싶은 분들께
이 글에서 다룬 긴 컨텍스트 에이전트 학습, 자동화, 하네스, 루프 설계를 직접 실습해보고 싶은 분들을 위해 제가 정리한 자료도 함께 남깁니다. 오픈클로를 일상 자동화 도구로 써보고 싶다면 『이게 되네? 오픈클로 미친 활용법 50제』를, 에이전트가 반복적으로 실행·검증·개선되는 구조를 더 깊게 보고 싶다면 AIFrenz의 「모두를 위한 루프 엔지니어링」 강의를 참고하시면 됩니다.