논문: AutoMem: Automated Learning of Memory as a Cognitive Skill 저자: Shengguang Wu, Hao Zhu, Yuhui Zhang, Xiaohan Wang, Serena Yeung-Levy 소속: Stanford University 프로젝트 페이지: autolearnmem.github.io
핵심 요약
LLM 에이전트가 장기(long-horizon) 작업을 수행할 때, 컨텍스트 윈도우는 금방 고갈된다. 지금까지의 해결책——RAG, 요약 버퍼, 벡터 스토어——은 메모리를 고정된 아키텍처 모듈로 취급했다.
Stanford 연구팀은 다른 관점을 제시한다: “메모리 관리는 훈련 가능한 인지 기술(metamemory)이다.”
AutoMem은 파일 시스템 연산(read, write, search, append)을 에이전트의 일반 액션 공간에 편입시키고, 두 개의 자동화된 외부 루프로 메모리 실력을 끌어올린다. 그 결과, Qwen2.5-32B 단일 모델이 메모리 최적화만으로 Crafter·MiniHack·NetHack 세 개의 장기 환경에서 Claude Opus 4.5, Gemini 3.1 Pro Thinking과 대등한 수준에 도달했다.
주요 성과
| 지표 | 결과 |
|---|---|
| 성능 향상 | 기본 에이전트 대비 ~2×–4× progression gain |
| 오픈 vs 프론티어 | 32B 모델이 Claude Opus 4.5, Gemini 3.1 Pro Thinking과 대등 |
| 스케일보다 메모리 | 최적화된 32B가 미최적화 72B를 압도 |
| 훈련 범위 | 태스크 액션 가중치 수정 없음, 메모리 특화 모델만 훈련 |
문제: 장기 작업에서 메모리는 왜 어려운가
LLM의 컨텍스트 윈도우는 ‘작업 기억(working memory)’ 역할을 하지만, 물리적 한계가 있다. NetHack처럼 10만 스텝 이상 지속되는 에피소드에서는 컨텍스트만으로 모든 정보를 담을 수 없다.
기존 접근법들의 한계:
- 단순 append: 과거 관찰·도구 호출·반성을 무작정 컨텍스트에 쌓으면——attention이 희석되고, 어떤 메모리 컴포넌트가 효과가 있는지 분리해서 분석하기 어렵다.
- 수동 설계: 파일 스키마, 검색 로직, 기억 액션을 인간이 직접 설계하지만, 한 에피소드가 수만 스텝에 이르면 인간 리뷰로는 메모리 실수를 찾아내기 불가능하다.
- 아키텍처 종속: 메모리를 고정된 모듈(RAG 파이프라인 등)로 취급하여, 모델 자체가 메모리를 ‘학습’하지 못하게 만든다.
AutoMem의 접근: 메모리를 1급 시민 액션으로
AutoMem의 핵심 설계 결정은 파일 시스템 연산을 태스크 액션과 동일한 공간에 배치하는 것이다.
에이전트는 매 스텝 두 가지 루틴을 실행한다:
- LOG 루틴: “방금 일어난 일 중 기록할 가치가 있는 것은?” →
<APPEND>,<WRITE>,<UPSERT_MAP>등으로 메모리 파일에 기록 - PLAN 루틴: “지금 행동하려면 무엇을 떠올려야 하나?” →
<SEARCH>,<READ>로 메모리 검색 후 다음 월드 액션 결정
이 설계의 장점은 모든 메모리 결정이 추적 가능한 액션이 된다는 점이다. 외부 루프는 이 액션 로그를 검토하여 메모리 실수를 정확히 찾아낼 수 있다.
두 개의 자동화 루프
루프 #1: 구조 최적화 (Scaffold Optimization)
메타-LLM(강력한 외부 모델)이 에이전트의 전체 에피소드 트레이스(수만 스텝)를 리뷰하고, 메모리 사용 실패 패턴을 진단한 뒤, 에이전트의 코드·프롬프트·파일 스키마·액션 어휘를 반복적으로 개정한다.
이것은 숙련된 코드 리뷰어가 전체 실행 로그를 읽고 메모리 로직의 버그를 잡는 것과 같다. v0(기본 scaffold)에서 시작해 Crafter는 v5, MiniHack은 v4, NetHack은 v2까지 반복한다.
루프 #2: 숙련도 훈련 (Memory Proficiency Training)
구조 최적화가 한계에 도달하면, 두 번째 루프가 시작된다. 메타-LLM이 여러 에피소드에서 에이전트의 좋은 메모리 결정을 식별하고, 이를 SFT 훈련 데이터로 큐레이션한다.
핵심: **태스크 액션 모델은 동결(frozen)**한 채, 메모리 연산만 담당하는 **전용 메모리 스페셜리스트(memory specialist)**를 LoRA로 훈련한다. 메모리 실력만 샤프하게 만들고, 기존 태스크 역량은 보존한다.
평가 환경: 왜 절차적 생성 게임인가
AutoMem은 절차적 생성(procedurally generated) 게임을 평가 환경으로 선택했다. 이는 메모리 기술을 테스트하기에 특히 적합하다:
| 환경 | 스텝 수 | 특징 |
|---|---|---|
| Crafter | ~10³ | 오픈월드 생존, 크래프팅·전투·자원관리 (22개 업적) |
| MiniHack | ~10² | NetHack 엔진 기반 퍼즐·내비게이션·전투 (8개 태스크) |
| NetHack | 10⁴–10⁵ | 인간이 수년이 걸려 마스터하는 초고난도 로그라이크 |
이 환경들이 중요한 이유:
- 매 에피소드마다 월드가 재생성되어 사전 학습 지식 전이가 어렵다
- 긴 호라이즌 때문에 컨텍스트 윈도우만으로는 대응 불가
- 성공하려면 인간이 자연스럽게 작성하는 지도, 인벤토리, 조우 기록, 전략 노트 같은 메모리가 필수
정량 결과: 32B가 프론티어를 따라잡다
| 모델 | Crafter (%) | MiniHack (%) | NetHack (%) |
|---|---|---|---|
| Gemini-3.1-Pro-Thinking | 55.0 | 27.5 | 2.6 |
| Claude-Opus-4.5 | 49.5 | 27.5 | 2.0 |
| Qwen2.5-72B-Instruct (기본) | 27.3 | 5.0 | 0.3 |
| Qwen2.5-32B + 슬라이딩 윈도우 | 19.6 | 2.5 | 0.0 |
| Qwen2.5-32B + AutoMem v0 (파일 메모리) | 25.0 | 7.5 | 0.4 |
| Qwen2.5-32B + 루프 #1 (구조 최적화) | 47.3 | 27.5 | 1.6 |
| Qwen2.5-32B + AutoMem 전체 | 51.4 | 30.0 | 1.9 |
주목할 점:
- 32B + AutoMem이 72B 기본 모델을 모든 환경에서 큰 차이로 압도한다. 스케일보다 메모리가 더 중요하다는 증거다.
- Claude Opus 4.5와 거의 대등한 수준에 도달한다.
- 두 루프가 상호 보완적이다——루프 1만으로도 큰 도약, 2가 추가되면 더 끌어올린다.
왜 효과가 있는가: 메모리 행동의 정성적 변화
루프 1의 효과 (구조 개선)
최적화된 scaffold는 게임플레이와 메모리 행동을 동시에 개선한다:
- 무효 액션 비율 32–65% 감소 (멈춤·진동 스텝)
- 중복 메모리 기록 68–83% 감소
- 빈 검색 비율 13–50% 감소
- 스텝당 입력 컨텍스트 3–30% 축소
루프 2의 효과 (숙련도 내재화)
훈련된 메모리 스페셜리스트는 “쓰기 전에 먼저 검색” 패턴을 체화한다:
| 환경 | 기본 (writes/search) | 훈련 후 | 변화 |
|---|---|---|---|
| Crafter | 0.84 | 0.39 | −54% |
| MiniHack | 2.89 | 0.82 | −72% |
| NetHack | 4.66 | 1.31 | −72% |
이는 인지과학에서 말하는 metamemory 발달——무엇을 기억할지, 언제 꺼내볼지, 어떻게 정리할지——이 모델 가중치에 학습되었음을 보여준다.
시사점
AutoMem은 LLM 에이전트 연구에서 메모리의 위치를 다시 정의한다:
- 메모리는 아키텍처가 아니라 기술이다: 고정된 RAG 파이프라인이 아니라, 모델이 스스로 학습하고 개선하는 능동적 기술로 취급해야 한다.
- 메타-LLM 리뷰의 파워: 인간이 리뷰하기 불가능한 10만 스텝 트레이스를 메타-LLM이 검토하여 자동화한다. 이는 에이전트 훈련의 새로운 패러다임이다.
- 오픈웨이트의 가능성: 메모리 최적화만으로 32B가 프론티어 모델을 따라잡았다. 모든 것을 스케일로 해결할 필요는 없다.
- 태스크 역량 보존: 메모리 모델만 훈련하고 태스크 모델은 동결하여, 기존 역량을 훼손하지 않는 안전한 최적화 경로를 보여준다.
한계 및 향후 방향
- 게임 환경에 국정: Crafter·MiniHack·NetHack은 메모리 기술 테스트에 적합하지만, 실무 에이전트(코딩, 웹 탐색, 데이터 분석)로의 일반화는 미검증이다.
- 메타-LLM 의존: 외부 루프가 강력한 메타-LLM(Gemini 3.1 Pro 수준)을 전제로 설계되었다.
- 샘플 효율성: 수천 스텝의 에피소드를 여러 번 실행해야 하므로, 훈련 비용이 만만치 않다.
그럼에도 이 연구는 **“LLM 에이전트에서 메모리를 독립적으로 최적화할 수 있다”**는 강력한 신호를 보낸다. 장기 추론·다중 세션·개인 비서 같은 실제 응용에서 메모리 최적화가 핵심 경쟁력이 될 가능성이 높다.
이 포스트는 arXiv:2607.01224의 내용을 바탕으로 작성되었습니다. 원문과 프로젝트 페이지에서 더 자세한 정보를 확인할 수 있습니다.