arXiv 2608.06663이 1,547편의 논문(2024–2026)을 체계적으로 수집해서 LLM 에이전트의 롱호라이즌 문제를 6개 축으로 분류한 서베이입니다. 최고 성능 모델도 에이전트 루프에 넣어 몇 시간짜리 작업을 시키면 중간 결정을 잊어버리고, 반쯤 끝난 작업을 완료했다고 선언하고, 목표에서 조용히 벗어납니다.
이 간격을 **호라이즌 갭(horizon gap)**이라고 부릅니다. 서베이 내용을 정리했습니다.
구분해야 할 세 가지
서베이가 가장 먼저 하는 일은 용어 정리입니다. “롱호라이즌”, “롱컨텍스트”, “장기 메모리”를 같은 뜻으로 쓰면 안 됩니다.
| 속성 | 누구의 성질인가 | 예시 |
|---|---|---|
| 롱호라이즌 (long-horizon) | 작업 | GitHub 이슈 해결, 여행 일정 예약 — 몇 단계가 필요한가 |
| 롱컨텍스트 (long-context) | 모델 | 한 번에 몇 토큰까지 attention 가능한가 |
| 장기 메모리 (long-term memory) | 시스템 | 단계/세션을 넘어 정보가 유지되는가 |
셋은 논리적으로 독립입니다. 컨텍스트 윈도우가 짧아도 하네스가 요약을 잘하면 롱호라이즌 작업을 할 수 있고, 컨텍스트가 아무리 길어도 세션이 끝나면 다 날아가면 장기 메모리가 없는 겁니다.
6개 카테고리와 한 가지 패턴
논문을 작업 라이프사이클을 따라 6개로 나눕니다.
- 기획(Planning) — 작업을 분해하고 어떤 순서로 실행할지 결정. 환경이 불확실해질수록 plan-then-execute에서 인터리브드·서치 기반으로 이동
- 메모리(Memory) — 어떤 정보를 가지고 결정할 것인가. 컨텍스트 vs 외부 저장소 vs 가중치, 세 축의 지속성-충실도 트레이드오프
- 실행 제어(Execution) — ReAct 루프부터 멀티에이전트 오케스트레이션, 자기교정·복구까지. 논문 전체에서 가장 큰 카테고리(584편)
- 훈련(Training) — 결과 보상만으로는 길어지는 호라이즌에서 신호가 희소해지므로, 프로세스 보상 모델과 크레딧 할당이 중심
- 평가(Evaluation) — SWE-bench의 32% 누출, 약한 테스트 통과 등 벤치마크 자체의 문제를 진단하는 논문이 최근 급증
- 이론·안전(Foundations) — 오류 누적의 일반적 이론은 아직 없음. 바이모달 붕괴, 골 드리프트, 오버사이트 문제
모든 카테고리에서 같은 패턴이 나타납니다. 호라이즌이 길어지면 결과만 있는 신호는 쓸모가 없어지고, 단계 수준의 더 밀집한 신호를 만들어내는 게 현장의 대응입니다.
기획: 환경 불확실성이 스펙트럼을 결정한다
환경이 예측 가능할 때는 plan-then-execute가 효율적입니다. 토큰이 2–3배 적게 든다는 실증도 있습니다. 근데 환경 불확실성이 커지면 중간에 계획을 수정할 수 있는 인터리브드 방식이나, 여러 후보를 유지하는 서치 기반 방식으로 이동합니다.
분해를 더 정교하게 한다고 무조건 좋아지진 않습니다. 어느 시점부터는 스캐폴딩이 오히려 성능을 깎습니다.
메모리: 외부 저장소가 압도적
메모리 논문에서 외부 저장소 연구가 294편, 컨텍스트 관리가 103편입니다. 현장이 메모리를 저장-검색 엔지니어링 문제로 보고 있다는 뜻입니다.
세 축의 트레이드오프:
- 컨텍스트: 충실도는 높지만 용량 제한
- 외부 저장소: 용량은 무제한이지만 검색·간섭 비용이 규모와 함께 증가. 관련 없는 세션이 쌓여도 정확도가 떨어짐
- 가중치: 가장 영속적이지만 훈련이 필요하고 감사하기 가장 어려움
실행: 하네스가 모델보다 중요해지는 지점
실행 카테고리(584편)가 전체에서 가장 큽니다. 오케스트레이션이 복구보다 1.4배 많고, 단일 루프 연구는 거의 없습니다. ReAct가 “그냥 에이전트가 이렇게 작동하는 것”으로 완전히 흡수됐습니다.
반복되는 발견은 하네스 엔지니어링이 모델 자체 능력보다 호라이즌 완성에 더 결정적이라는 점입니다. 같은 모델에 더 나은 하네스를 씌우면 측정 가능하게 더 긴 작업을 끝냅니다.
자기교정 관련해서 흥미로운 역설이 있습니다. GPT-3.5(66% 기본 정확도)가 자기 오류를 26.8% 교정하는데, 가장 강한 모델(94% 기본 정확도)은 16.7%만 교정합니다. 강한 모델의 오류가 구조적으로 더 깊어서 자기교정이 안 된다는 가설이 있습니다. 모델이 좋아질수록 이 문제가 더 심해질 수 있습니다.
훈련: 결과 보상에서 프로세스 보상으로
호라이즌이 길어지면 한 번의 결과 보상을 수십 개 중간 행동에 배분해야 합니다. 균등 배분은 신호를 희석시킵니다.
- 세그먼트 정책 최적화: 궤적을 세그먼트 단위로 잘라서 크레딧 할당
- 그래프 기반 크레딧: 관련 궤적 간 그래프 관계에서 크레딧을 찾음. 단일 궤적의 선형 순서만 보면 놓침
- 선택적 eligibility trace: 중요한 스텝에 크레딧을 집중. 균등 배분과 반대 방향
- GRPO가 결과 보상 알고리즘이면서도 암묵적으로 프로세스 보상 역할을 한다는 발견도 있습니다
평가: 벤치마크를 신뢰할 수 있는가
SWE-bench를 케이스 스터디로 씁니다. SWE-bench+가 패치를 수동 검수한 결과:
- 32.67%가 솔루션 누출 (이슈 리포트에 이미 정답이 있음)
- 31.08%가 약한 테스트 통과 (테스트가 제대로 검증 못 함)
- 둘을 제외하면 톱 시스템의 해결률이 12.47%에서 3.97%로 추락
궤적 수준 진단(TRAJEVAL)은 능력 있는 모델이 정확한 코드 위치를 찾아내고도 그 다음에 실패하는 현상을 발견했습니다. “coherence collapse”라고 부르며, Pass@1은 이 실패를 잡아내지 못합니다.
이론: 아직 일반적 법칙은 없다
독립적 오류 누적 모델(단계별 오류율 ε가 n단계에서 (1-ε)^n으로 떨어지는 단순 모델)은 유용한 영 모델입니다. 근데 실제 데이터는 이 모델에서 벗어납니다:
- 실패 직전에 감지 가능한 “strain” 신호가 있음 (오류가 메모리리스가 아님)
- Vending-Bench에서 20M 토큰 이상 실행 시 매끄러운 감소가 아니라 바이모달 (정상 또는 멜트다운). 둘 중 하나로 갈림
- 컨텍스트 창이 차서 붕괴하는 것도 아님 — 다른 원인이 있음
골 드리프트도 별도 현상입니다. 컨텍스트 압축이 안전 제약을 조용히 지워버릴 수 있습니다. 압축 정책이 작업 관련 정보에만 최적화되어 있어서, 한 번도 발동하지 않았던 제약조건을 유지할 이유가 없기 때문입니다.
논문이 던지는 열린 질문
하네스 vs 모델: 롱호라이즌 능력이 모델에 있는지 하네스에 있는지를 분리하는 통제 실험이 아직 없습니다. 현장이 하네스 쪽에 훨씬 더 많은 연구를 하고 있지만, 이건 하네스가 더 싸서일 수도 있습니다.
상관 측정 편향: 훈련용 프로세스 신호와 평가용 프로세스 신호가 “좋은 중간 진전이란 무엇인가”에 대해 같은 가정을 공유하면, 둘이 서로 교차검증하는 것처럼 보이면서 실제로는 같은 편향을 검증하고 있을 수 있습니다.
궤적이 단위가 되고 있습니다. 훈련, 평가, 메모리, 안전 — 모든 곳에서 결과에서 실행 궤적으로 관심이 이동하고 있습니다. 궤적 로깅이 연구 전제 조건이 되었습니다.
더 실습해보고 싶은 분들께
원문: The Horizon Gap: Planning, Memory, Execution, Training, and Evaluation for Long-Horizon LLM Agents (arXiv 2608.06663, 39 pages, 6 figures)