한 줄 요약
장기 호라이즌(long-horizon) 작업에서 LLM 에이전트는 초기 요구사항을 나중에 어기거나, 이미 실패한 접근을 반복하거나, 진단해 둔 오류 패턴을 새로운 것처럼 다시 만난다. Meta AI 연구팀은 이를 **행동 상태 붕괴(behavioral state decay)**라고 명명하고, 별도의 **메모리 에이전트(memory agent)**가 적절한 시점에만 개입하는 능동적 메모리 시스템을 제안한다. Terminal-Bench 2.0에서 +8.3%p, τ²-Bench에서 +6.8%p 향상을 달성했으며, 오픈웨이트 모델(Qwen3.5-27B)로의 부분적 전이도 확인했다.
1. 문제: 행동 상태 붕괴(Behavioral State Decay)
LLM 에이전트가 터미널 명령 실행, 다단계 도구 사용, 복잡한 사용자 상호작용 같은 장기 호라이즌 작업에서 실패하는 전형적인 패턴을 보자:
- 작업 초기에 인식한 필수 요구사항을 나중에 버그를 수정하면서 어김
- 특정 명령이나 파라미터 설정이 실패했다는 사실을 잊고 유사한 시도를 반복
- 진단해 둔 오류 패턴을 나중에 완전히 새로운 것처럼 취급
이러한 실패의 핵심은 정보가 문맥 창(context window)에 여전히 존재함에도 불구하고 행동에 영향을 주지 못한다는 점이다. 이를 행동 상태 붕괴라고 부른다.
단순히 더 긴 문맥을 제공하는 것으로는 해결되지 않는다. 정보가 언제 행동에 개입해야 하는지를 결정하는 것이 핵심이다.
2. 기존 접근의 한계
기존 메모리 시스템(MemGPT, MemoryBank, Mem0 등)은 저장·검색에 초점을 맞춘다. 하지만 실시간 작업 수행 중에는 다른 질문이 발생한다:
| 접근 방식 | 문제점 |
|---|---|
| 수동적 노출(Passive exposure) | 메모리 뱅크를 문맥에 포함해도 에이전트가 알아서 활용하지 않음 |
| 항상 주입(Always-on injection) | 매 스텝마다 요약을 주입하면 토큰 소모·주의 분산 발생 |
| 검색 기반(RAG-style retrieval) | “무엇을 가져올까”는 해결하지만 “언개 개입할까”는 미해결 |
| 일반 어드바이저 모델 | 넓은 전략 조언은 가능하지만, 메모리에 근거한 정확한 개입은 부족 |
핵심 통찰은 메모리가 요약(summarization) 문제가 아니라 개입(intervention) 문제라는 것이다.
3. 사기억 에이전트 아키텍처
제안하는 시스템은 두 단계로 동작하는 메모리 에이전트를 기존 액션 에이전트와 나란히 배치한다.
3.1 메모리 뱅크 업데이트 (Maintenance Phase)
정해진 간격마다 메모리 에이전트는 최근 트레젝토리를 읽고 구조화된 메모리 뱅크를 업데이트한다. 메모리 뱅크는 다음 항목들을 포함한다:
- 작업 요구사항(Task requirements): 원래 지시사항의 제약조건
- 환경 사실(Environment facts): 발견한 시스템 설정, 도구 동작 방식
- 이전 시도(Previous attempts): 실패한 명령·접근법과 그 결과
- 오류 진단(Diagnoses): 관찰된 에러 패턴의 원인 분석
- 미해결 하위목표(Open subgoals): 아직 완료하지 않은 단계들
3.2 개입 결정 (Intervention Phase)
메모리 업데이트 후, 메모리 에이전트는 다음 중 하나를 결정한다:
- 주입(Inject): 현재 액션 에이전트가 특정 정보를 잊고 있으며, 이것이 다음 행동에 영향을 줄 것이라고 판단하면 간결한 **리마인더(reminder)**를 주입
- 침묵(Remain silent): 현재 진행이 양호하고 메모리 개입이 불필요하다고 판단하면 아무것도 주입하지 않음
이 **선택적 개입(selective intervention)**이 핵심 혁신이다. 항상 켜져 있는 것이 아니라, 메모리가 행동 루프에 들어갈지 말지를 능동적으로 결정한다.
요약기는 “무엇을 보관할까”를 묻지만, 사기억 에이전트는 “보관된 정보가 다음 행동에 활성화되어야 하는가?”를 묻는다.
4. 실험 결과
4.1 주요 벤치마크 성능
Claude Opus 4.6을 메모리 에이전트로 사용했을 때의 결과:
| 벤치마크 | 액션 에이전트 | Baseline | + Memory Agent | 향상 |
|---|---|---|---|---|
| Terminal-Bench 2.0 | Sonnet 4.5 | 37.6% | 45.9% | +8.3 pp |
| Terminal-Bench 2.0 | Opus 4.6 | 43.5% | 45.9% | +2.4 pp |
| τ²-Bench (avg) | Sonnet 4.5 | 55.0% | 61.8% | +6.8 pp |
| τ²-Bench (avg) | Opus 4.6 | 66.2% | 68.7% | +2.5 pp |
더 약한 액션 에이전트일수록 개선 폭이 크지만, 더 강한 에이전트에서도 효과가 사라지지 않는다는 점이 중요하다. 이는 메모리 개입이 단순히 모델 용량 부족을 보상하는 것이 아님을 시사한다.
4.2 도메인별 분석 (τ²-Bench)
| 도메인 | Sonnet 4.5 향상 |
|---|---|
| 항공(Airline) | +10.0 pp |
| 소매(Retail) | +9.7 pp |
| 통신(Telecom) | +2.6 pp |
항공과 소매에서 큰 향상을 보인 것은 규칙 기반 제약이 많은 도메인일수록 메모리 개입의 효과가 크다는 것을 보여준다.
5. Ablation: 무엇이 효과가 있었나
가장 중요한 ablation 결과는 선택적 개입이 모든 대안을 능가한다는 것이다:
| 설정 | 효과 |
|---|---|
| 선택적 개입 (제안 방식) | 최고 성능 |
| 수동적 뱅크 노출만 | 큰 향상 없음 |
| 항상 주입(always-on) | 오히려 성능 저하 |
| 어드바이저 모델 (광범위 조언) | 메모리 기반 개입보다 열등 |
| 일반 검색(general retrieval) | 선택적 개입보다 일관되게 하위 |
이는 메모리의 가치가 **“무엇을 아는가”가 아니라 “언제 말할까를 결정하는 능력”**에 있음을 명확히 보여준다.
6. 오픈웨이트 메모리 정책의 첫 걸음
연구팀은 메모리 에이전트를 폐쇄 모델(Claude)에만 의존하지 않고, Qwen3.5-27B를 SETA 데이터셋으로 미세조정(SFT + GRPO)하여 오픈웨이트 메모리 정책을 학습시켰다.
- 검증 보상(validation reward)이 안정적으로 향상
- Terminal-Bench로의 부분적 전이(partial transfer) 확인
- 완전한 폐쇄 모델 수준에는 미치지 못하지만, 오픈 모델로도 메모리 개입 정책을 학습할 수 있다는 초기 증거
7. 의의과 시사점
실용적 가치
- 플러그 앤 플레이: 기존 액션 에이전트와 에이전트 하네스를 수정 없이 그대로 사용
- 범용성: 터미널 자동화, 도구 사용, 사용자 상호작용 등 다양한 장기 작업에 적용 가능
- 해석 가능성: 메모리 에이전트가 주입하는 리마인더는 명시적이므로 디버깅이 용이
연구 방향
- 행동 상태 붕괴라는 개념 정의는 향후 에이전트 메모리 연구의 기준점이 될 것
- 메모리를 저장이 아닌 개입의 관점에서 재정의
- 오픈웨이트 메모리 정책의 가능성을 처음으로 보여줌
남은 한계
- 메모리 에이전트 자체의 계산 비용(별도 LLM 호출)
- 더 다양한 작업 유형(코딩, 창작 등)에서의 검증 필요
- 메모리 주입이 장기적으로 누적되는 효과에 대한 연구 부족
참고
- 논문: Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents, arXiv:2607.08716
- 저자: Lizhu Zhang, Yuhang Zhou, Mingyi Wang, Bo Peng, Serena Li, Xiangjun Fan, Zhuokai Zhao (Meta AI)
- 벤치마크: Terminal-Bench 2.0, τ²-Bench
- 모델: Claude Opus 4.6 (memory agent), Claude Sonnet 4.5 / Opus 4.6 (action agent), Qwen3.5-27B (open-weight policy)