코난쌤 블로그

멀티턴 롱호라이즌 계획의 물리학: 사전학습부터 GRPO·OPD·MOPD까지

14 min read

핵심 한 줄: LLM 에이전트의 장기 계획 능력은 사전학습 데이터의 질적 순도와 최소한의 롱호라이즌 노출이 결정하며, 후속학습에서는 GRPO보다 OPD가 더 넓은 유효 영역을 가지지만, 티처-스튜던트 간 지식 불일치가 있으면 증류가 오히려 성능을 붕괴시킨다.

1. 문제 의식: 롱호라이즌 계획은 어디서 오는가?

LLM 에이전트가 실제 환경에서 쓸모 있으려면 한 번의 액션이 아니라 수십 단계의 연쇄적 의사결정을 해야 한다. OSWorld 2.0, EdgeBench, Long-Horizon-Terminal-Bench 같은 벤치마크가 보여주듯, 현재의 파운데이션 모델은 짧은 호라이즌에서는 꽤 잘하지만 길어지면 급격히 무너진다.

이 논문(Chinese Academy of Sciences)은 근본적인 질문을 던진다:

  • 롱호라이즌 계획 능력이 사전학습에서 이미 생기는 것인가, 아니면 후속학습(RL)에서 새로 활성화되는 것인가?
  • GRPO와 OPD(On-Policy Distillation)는 각각 어떤 조건에서 효과가 있는가?
  • 멀티 티처 증류(MOPD)가 항상 안전한가, 아니면 조건이 있는가?

이를 답하기 위해 저자들은 통제된 멀티턴 환경(Fantasy Alchemy, Livestock Farming, Electronic Assembly — 3개 도메인)을 구축하고, 태스크 길이·데이터 품질·계획 패턴·계획 지식을 정밀하게 조절하며 3단계 실험을 수행했다.

Figure 1: 연구 전체 개요. 사전학습 → RL 후속학습(GRPO/OPD) → 멀티티처 증류(MOPD)의 3단계에 걸쳐 롱호라이즌 계획 능력이 어떻게 획득·정제·통합되는지를 보여준다.

2. 통제된 환경 설계: “물리학 실험”처럼

기존 연구가 인터넷 데이터라는 불투명한 코퍼스에 의존했다면, 이 연구는 정밀 통제된 합성 환경을 만들었다. 3개의 도메인(연금술, 목축, 전자조립)은 각각 스킬 그래프(상태 전이 규칙)를 가지며, 저자는 다음을 자유롭게 조절할 수 있다:

  • 태스크 길이: Short(1-5단계), Middle(6-8단계), Long(9단계 이상)
  • 데이터 품질: 최적 궤적 vs 준최적 궤적의 비율
  • 계획 패턴(planning pattern): CoT의 구조적 골격 — 목표 분석 → 전제조건 확인 → 액션 생성
  • 계획 지식(planning knowledge): 태스크 특화적 절차 — 예: “Crystalgrain + Glowfern → Quartz Solution”

Figure 2: 통제된 롱호라이즌 에이전트 계획 프레임워크 개요. 환경 수, 레벨, 카테고리, 태스크 길이, 데이터 품질, 계획 지식과 패턴을 정밀하게 제어할 수 있다.

이 구분 — 패턴 vs 지식 — 이 논문의 가장 중요한 분석 뼈대가 된다.

3. 사전학습 단계: 계획 능력의 획득

3.1 월드 모델링이 직접 액션 예측보다 낫다

CoT(Chain-of-Thought)로 상태 전이를 명시적으로 모델링하는 데이터 포맷이, 액션만 직접 예측하는 포맷보다 롱호라이즌 일반화에서 압도적으로 우세했다.

Figure 3: 월드 모델링 유무에 따른 성능 비교. 상태 전이를 명시적으로 모델링한 모델이 세 가지 난이도 모두에서 일관되게 우위를 보인다.

이 결과는 단순히 “CoT가 좋다”가 아니라, 에이전트가 환경의 역학을 내재화해야 긴 호라이즌에서도 궤적을 이어갈 수 있다는 것을 시사한다.

3.2 원자 스킬만으로는 합성 일반화가 안 된다

Short 태스크만 100% 학습해도 Middle/Long 성능은 **거의 0%**다. 하지만 Long 궤적을 5%만 섞어주면 Long pass@8이 **0% → 11%**로, Middle을 5% 섞으면 Middle pass@8이 **0.8% → 52%**로 급등한다.

Figure 5: 사전학습 데이터 분포에 따른 성능 스케일링. 좌상단부터 S(100%), S+M(5%/50%/100%), S+M+L(5%/50%/100%) 비율 변화에 따른 세 도메인의 pass@8을 보여준다.

시사점: “원자 스킬을 많이 쌓으면 자동으로 긴 계획이 된다”는 가정이 틀렸다. 에이전트는 긴 궤적 자체를 최소한으로라도 봐야 구조적 조립 능력이 생긴다.

3.3 준최적 궤적은 치명적이다

최적 패턴 4종과 준최적 패턴을 섞을 때, 비율이 4:8(준최적이 2배)이 되면 Long pass@8이 **0%**로 붕괴한다. 짧은 호라이즌에서는 오차가 국소적으로 묶이지만, 긴 호라이즌에서는 오차가 누적·증폭되기 때문이다.

Table 1: 사전학습 분포별 성능. 행은 패턴 믹스(4 Opt, 4 Opt:4 Sub, 4 Opt:8 Sub), 열은 평가 난이도(S/M/L)와 도메인(FA/LF/EA)이다.

이 결과는 실제 인터넷 데이터에 섞인 “대충 맞는” 튜토리얼이나 서브옵티멀 데모가 에이전트 학습에 얼마나 해로운지를 정량적으로 보여준다.

4. 후속학습 단계: GRPO vs OPD, 유효 영역의 차이

4.1 상호정보량 관점: 패턴 vs 지식

저자는 상호정보량(mutual information) 으로 패턴과 지식을 구분한다:

  • 계획 패턴(P): 태스크 입력 T와의 상호정보량이 낮다 → 범용적이고 샘플 간 공유 가능
  • 계획 지식(K): T와의 상호정보량이 높다 → 태스크 특화적, 사례 단위 정밀 업데이트 필요

이 구분이 핵심이다. RL(GRPO)은 패턴을 고르는 데는 효과적이지만, 지식을 주입하는 데는 구조적으로 부족하다.

4.2 세 가지 적용 영역

저자는 RL의 적용 영역을 3개로 나눈다:

영역조건RL 효과
A (불필요)고품질 사전학습, 이미 패턴이 충분개선 없음
B (유효)저품질 사전학습 + 중간 호라이즌GRPO·OPD 모두 유효
C (한계)저품질 + 롱호라이즌GRPO 실패, OPD만 유효

GRPO의 한계 이유: 결과 기반 보상(outcome reward)을 역전파할 때, 긴 궤적에서는 올바른 액션과 잘못된 액션이 뒤섞여 신용 할당(credit assignment)이 붕괴한다.

OPD의 우위: 티처가 이상적일 때 토큰 수준의 일관된 업데이트 방향을 제공하므로, 긴 호라이즌에서도 방향이 흔들리지 않는다.

Figure 6: 사전학습 데이터 구성에 따른 다운스트림 성능. avg@8과 pass@8을 3개 도메인 × 3개 난이도로 비교한다.

4.3 그래디언트 방향 분석: 왜 OPD가 더 안정적인가

SVD 상위-k 부분공간 분석으로 학습 과정의 가중치 업데이트 방향을 추적했다.

  • GRPO: 호라이즌이 길어지면 그래디언트 방향이 불일치 → 준최적 비율이 높아지면 그래디언트 소실
  • OPD: 모든 설정에서 일관된 업데이트 방향 유지

이는 OPD가 “더 똑똑해서”가 아니라, 티처의 밀집한 토큰 수준 신호가 긴 궤적에서 흔들리는 신용 할당을 대체하기 때문이다.

5. 계획 지식의 함정: 티처가 100점이어도 증류가 실패할 수 있다

이 논문의 가장 흥미로운 발견 중 하나다. 학생이 Recipe A로 사전학습되고, 티처가 Recipe B(같은 결과물, 다른 경로)로 학습된 경우:

  • 티처 B는 모든 태스크에서 100점
  • 그런데 Student + Teacher B 조합은 pass@8 36.6% → 베이스 모델(44%)보다도 하락

왜? 플래닝 패턴(구조)은 일찍 정렬되지만, 후기 단계에서 지식(구체적 레시피)을 덮어쓰려 할 때 RL의 업데이트 크기가 너무 작아서 기존 지식만 파괴하고 새 지식은 못 세운다. 중간 상태의 붕괴가 발생하는 것이다.

특히 In-Domain(FA) 성능이 -43.75점 하락하는 반면 Out-of-Domain(LF, EA)은 영향이 제한적이다. 해당 도메인의 월드 모델링만 직접 덮어쓰기 당하기 때문이다.

이 결과는 “좋은 티처 = 좋은 증류”라는 통념을 정면으로 반박한다. 티처의 성능이 아니라 티처-스튜던트 간의 지식 정렬이 증류 성패를 가른다.

6. 멀티티처 증류(MOPD): 통합의 조건

MOPD는 MiMo-V2-Flash, GLM-5, Nemotron-Cascade 2 등 최신 파운데이션 모델에서 이미 쓰이는 기법이다. 저자는 3가지 모드를 정의한다:

Type I: 공유 + 호환 (일반화 모드)

  • 환경 간 공통 패턴이 있고 서로 호환될 때
  • 한 환경에서 활성화된 능력이 보이지 않은 환경으로 이전된다
  • MOPD가 도메인 경계를 허문다

Type II: 공유 + 충돌 (연속학습 모드)

  • 패턴이 부분적으로만 겹칠 때
  • 공유 구조가 남아있어 치명적 망각 없이 적응 가능

Type III: 비공유 + 충돌 (갈등 모드)

  • 공통 패턴이 전혀 없을 때
  • 치명적 망각 + 교차 환경 간섭 발생
  • 학생이 새 티처에 과적합되어 이전 능력이 붕괴

이 분류는 실무적으로 중요하다: “여러 티처를 순차적으로 증류하면 무조건 좋아진다”는 단순 낙관론을 경계해야 한다.

7. 종합 평가

강점

  • 통제 수준이 압도적: 인터넷 데이터의 노이즈를 제거하고, 정확히 하나의 변수만 움직이며 인과 관계를 추적
  • 패턴 vs 지식의 구분: 상호정보량이라는 정량적 도구로 두 축을 나누어 분석
  • 실무 가이드라인: GRPO vs OPD 선택 기준, MOPD 적용 조건 등 당장 쓸 수 있는 통찰
  • 최신 모델과 연결: MiMo-V2-Flash, GLM-5, DeepSeek-V4의 실제 훈련 파이프라인을 역해석하는 프레임

한계

  • 합성 환경: Fantasy Alchemy 등은 실제 코딩/웹 환경이 아니므로, OSWorld 2.0급 환경에서 같은 결론이 나올지 검증 필요
  • 모델 규모: 실험에 쓰인 모델 크기가 명시되지 않았거나 작을 수 있음 — 대규모 모델에서 다르게 나타날 수 있음
  • 패턴 8종: 현실의 CoT 다양성을 8개 템플릿으로 묶는 것이 과도한 단순화일 수 있음

의의

이 논문은 “롱호라이즌 계획은 RL만 있으면 된다”는 단순 희망을 깨부순다. 사전학습 데이터의 품질 관리, 최소 롱호라이즌 노출, 패턴-지식의 구분, 티처-스튜던트 정렬 — 이 모든 것이 유기적으로 맞물려야 에이전트가 긴 계획을 세울 수 있다.

특히 **“pass@k가 0이어도 능력이 없는 것이 아닐 수 있다”**는 발견은 벤치마크 해석에 큰 시사점을 준다. 샘플링 횟수를 늘려도 닿지 못하는 것처럼 보이는 능력이, RL을 통해 활성화될 수 있다는 것이다.

더 실습해보고 싶은 분들께

이 논문에서 다루는 롱호라이즌 계획, GRPO/OPD 포스트트레이닝, 멀티티처 증류(MOPD)는 에이전트 루프 설계와 직접적으로 연결됩니다. 에이전트 하네스 안에서 어떻게 계획-실행-교정 루프를 짜고, RL 신호를 어떻게 설계할 것인지에 대한 실습이 필요하다면:

Paper: The Physics of Multi-Turn Long-Horizon Planning (arXiv:2607.24720)

Code & Models: github.com/Quester-one/PlanPhysCode | HuggingFace Models | HuggingFace Datasets

그래프 뷰