Metis: 에이전트 메모리를 외부 모듈에서 모델 안으로 밀어넣다 — 최초의 메모리 파운데이션 모델

핵심 한 줄: 에이전트의 메모리를 컨텍스트 창에 넣는 시대가 지나고 있다 — Metis는 메모리를 모델의 순방향 계산 안에 내장하여, 그레이디언트 없이 순방향 패스 한 번으로 기억을 갱신하는 최초의 메모리 파운데이션 모델이다.

1. 문제의식: 왜 외부 메모리가 한계에 도달했는가

LLM 에이전트에게 메모리는 선택이 아니라 필수다. 사용자와의 멀티턴 대화, 도구 호출 결과, 이전 추론의 맥락 — 이 모든 것을 에이전트는 기억하고 있어야 한다. 그런데 현재 대부분의 에이전트 메모리는 외부 모듈로 구현된다.

MemGPT, MemoryBank, Mem0 등 대표적인 접근법들은 RAG(Retrieval-Augmented Generation)를 핵심 메커니즘으로 사용한다. 과거 대화를 텍스트로 저장하고, 현재 쿼리와 의미적으로 유사한 조각을 검색해서 컨텍스트에 끼워 넣는 방식이다.

Metis 논문은 이 패러다임의 세 가지 근본적 한계를 지적한다.

첫째, 최적화가 단절된다. 외부 메모리는 백본 모델과 분리된 타깃을 가진다. 저장(storage)과 검색(retrieval)이라는 이산적 연산 사이로 그레이디언트가 흐르지 않는다. 즉, “어떤 정보를 저장하면 미래의 추론에 도움이 될 것인가?”라는 질문에 end-to-end로 답할 수 없다.

둘째, 효율성이 떨어진다. 검색, 재정렬, 컨텍스트 결합, 그리고 결국 전체를 다시 prefill하는 비용이 매 추론마다 발생한다. 대화가 길어질수록 이 비용은 선형적으로 증장한다.

셋째, 백본과 메모리가 동떨어져 있다. 외부 메모리는 “컨텍스트를 풍부하게 만드는 것”을 목표로 하지만, 백본 모델이 실제로 추론에 필요로 하는 정보의 형태와 다를 수 있다.

외부 메모리(좌)는 저장→검색→컨텍스트 결합의 단계를 거치지만, Metis의 네이티브 메모리(우)는 모델 내부 파라미터가 직접 기억한다.

2. 메모리 파운데이션 모델: 정의

Metis가 제안하는 것은 단순한 아키텍처 개조가 아니라, 새로운 모델 카테고리의 정의다. 논문은 명확한 수학적 정의를 제시한다.

전통적 파운데이션 모델: $y_{t,k}\sim P(y\mid X_t,Y_{t,<k};\theta )$ — 고정 파라미터 $\theta$, 입력 $X_t$만 조건부.

외부 메모리 모델: $y_{t,k}\sim P(y\mid C_t,X_t,Y_{t,<k};\theta )$ — 추가 컨텍스트 $C_t$가 검색 파이프라인에서 생성됨.

메모리 파운데이션 모델: $y_{t,k}\sim P(y\mid X_t,Y_{t,<k};{\theta }_t)$ — 파라미터 자체가 ${\theta }_t$로 시간에 따라 변한다.

여기서 핵심은 ${\theta }_t$가 두 가지 성질을 가진다는 것이다.

• 네이티브 메모리 상태(Native Memory State): ${\theta }_t$의 일부인 동적 파라미터 ${\mathbf{M}}_t$가 이전 상호작용의 정보를 압축해서 보관한다. 이것은 모델 백본과 의미 공간이 정렬된 상태다.
• 네이티브 메모리 절차(Native Memory Procedure): 기억, 망각, 갱신이라는 연산이 외부 룰 기반 시스템이 아니라 모델의 순방향 계산 자체에 의해 자율적으로 수행된다.

이 정의의 함의는 강력하다. CoT(Chain-of-Thought)가 추론을 모델 안에 넣은 것처럼, 네이티브 메모리는 기억을 모델 안에 넣는다. 그리고 일단 내부화되면, 데이터 기반 최적화가 가능해진다.

3. Metis 아키텍처: 하이퍼 메모리와 로컬 메모리의 이중 구조

Metis 블록은 하이퍼 메모리 블록(정보 압축·저장)과 로컬 메모리 블록(밀집 메모리 네트워크)로 구성된다. 순방향 패스 안에서 저장과 활용이 병렬로 일어난다.

Metis의 핵심 설계는 **Fast Weight Programming(FWP)**에서 영감을 받았다. 각 트랜스포머 층에 Metis 블록을 추가하고, 이 블록은 두 부분으로 구성된다.

하이퍼 메모리 블록 (Hyper Memory Block)

현재 스텝 $t$의 은닉 상태 ${\mathbf{H}}_t^{(l-1)}$를 입력받아, 학습 가능한 중요도 벡터 ${\tilde{\mathbf{w}}}_{\text{agg}}^{(l)}$로 각 토큰의 점수를 매긴다. top-$\rho$ 선택으로 가장 중요한 토큰들만 남기고, 이를 메모리 키 ${\tilde{\mathbf{K}}}_t^{(l)}$와 메모리 밸류 ${\tilde{\mathbf{V}}}_t^{(l)}$로 투영한다.

그다음, Gated Delta Network(GDN) 기반 갱신 전략으로 밀집 메모리 네트워크를 업데이트한다:

${\mathbf{M}}_{t+1}^{(l)}=\lambda {\mathbf{M}}_t^{(l)}+\frac{(1-\lambda )}{L_t^{\prime }}\cdot \frac{{\tilde{\mathbf{K}}}_t^{(l)\top }}{\sqrt{d_k}}{\tilde{\mathbf{V}}}_t^{(l)}$

여기서 $\lambda$는 할인 인자(discount factor)다. 이것이 의미하는 바는: 직전 상호작용의 정보가 old information을 점진적으로 감쇠시키면서 새 정보를 덮어쓴다는 것이다. 이 전체 과정이 그레이디언트 계산 없이 순방향 패스 한 번으로 끝난다.

로컬 메모리 블록 (Local Memory Block)

저장된 ${\mathbf{M}}_t^{(l)}$에서 정보를 읽어온다. **메모리 어텐션(Memory Attention)**이라는 별도의 어텐션 경로를 통해:

${\tilde{\mathbf{A}}}_t^{(l)}=\text{diag}({\tilde{\mathbf{Q}}}_t^{(l)}{\mathbf{S}}_t^{(l)}{)}^{-1}{\tilde{\mathbf{Q}}}_t^{(l)}{\mathbf{M}}_t^{(l)}$

원래의 self-attention 출력과 가중 합산된다:

${\mathbf{A}}_t^{(l)}=\gamma \cdot \text{Softmax}(\text{Original Attn})+(1-\gamma )\cdot \text{Norm}({\tilde{\mathbf{A}}}_t^{(l)})$

$\gamma \in [0,1]$가 두 경로의 균형을 잡는다. 중요한 것은 원래 어텐션과 메모리 어텐션이 서로에 대한 의존성이 없다는 것이다. 따라서 병렬 실행이 가능하고, 레이어 수준의 지연 시간은 $\max (T_{\text{orig}},T_{\text{util}},T_{\text{store}})+T_{\text{fuse}}$가 된다.

왜 메모리 쿼리를 분리하는가

Metis는 원래 어텐션의 $\mathbf{Q}$를 재사용하지 않고, 별도의 학습 가능한 메모리 쿼리 ${\tilde{\mathbf{Q}}}_t^{(l)}={\tilde{\mathbf{H}}}_t^{(l)}{\tilde{\mathbf{W}}}_Q^{(l)}$를 사용한다. 논문은 이것이 이론적 오차 분석에서 비롯된 설계라는 것을 보인다.

메모리 네트워크 ${\mathbf{M}}_t^{(l)}$는 모든 이전 스텝의 정보가 할인되어 누적된 합이다. 따라서 목표 스텝 $c$의 정보를 추출할 때, 비참조 스텝 $j\ne c$의 정보가 노이즈로 섞인다. 메모리 쿼리를 분리하면, ${\tilde{\mathbf{Q}}}_t^{(l)}{\tilde{\mathbf{K}}}_j^{(l)\top }$의 유사도를 재형성하여 관련 스텝을 강조하고 비관련 스텝을 억제할 수 있다.

4. 데이터: 4가지 메모리 연산을 가르치다

Metis가 훈련 데이터를 어떻게 구축했는지는 이 연구의 독창성을 보여주는 핵심 부분이다. 단순히 대화 데이터를 모은 것이 아니라, 메모리 연산을 명시적으로 가르치는 구조화된 데이터를 합성했다.

4가지 메모리 연산

연산	상호작용 패턴	예시
Remember	Info(A) → Query(A)	“Alice는 24살이다” → “Alice 나이는?”
Update	Info(A₁) → Info(A₂) → Query(A)	“Bob은 런던에 산다” → “Bob이 보스턴으로 이사했다” → “Bob은 어디에 살아?”
Forget	Info(A₁) → Info(Ā₁) → Query(A)	특정 정보를 명시적으로 취소한 후 질의
Reflect	Info(A) → Info(B) → Query(A∩B)	여러 단일 홉 사실로부터 다중 홉 추론

3가지 직교 차원

각 연산은 세 가지 차원에서 변형된다:

1. 명시성(Salience): 명시적(“기억해라: Alice는 24살”) vs 암시적(“Alice는 올해 24살이 되었다” — 서술적)
2. 노이즈 수준: clean 시퀀스 vs 디스트랙터가 끼워진 noisy 시퀀스
3. 연산 유형: 위의 4가지

총 27개 공개 벤치마크에서 추출한 사실을 시드로 사용하여, 357,137개의 primary 데이터 샘플(약 4.06억 토큰)을 합성했다. 추가로 다중 엔티티 바인딩, 선택적 망각 등의 보조 데이터 609,443개 샘플을 더해, 총 100만 샘플에 가까운 메모리 특화 훈련 세트를 구축했다.

5. 최적화: 3가지 목적 함수

Metis의 미드트레이닝은 세 가지 최적화 목적으로 구성된다.

메모리 재구성(Memory Reconstruction): 이전 상호작용의 정보가 메모리 상태에 얼마나 잘 압축되었는가를 평가한다. 전체 컨텍스트가 주어졌을 때의 응답과, 메모리 상태만 있을 때의 응답을 비교하여, 메모리 압축의 상한선을 정의한다.

메모리 연산(Memory Operation): remember·forget·update·reflect 각 연산이 의도대로 수행되는가를 평가한다. 이것이 메모리 절차의 타깃이다.

정규화(Regularization): 복잡한 시나리오에서의 강인성을 위해, 일반 대화 능력을 유지하도록 한다.

6. 실험 결과

메모리 연산 태스크

Metis-4B는 4가지 메모리 연산(remember, forget, update, reflect)에서 full-context baseline(모든 이전 대화를 컨텍스트에 넣는 것)과 비교하여 경쟁력 있는 성능을 보였다. 특히 update와 reflect 연산에서 외부 메모리 기반 시스템 대비 유의미한 우위를 보였다.

메모리 기반 QA 태스크

LoCoMo, LongMemEval 등 OOD(Out-of-Distribution) 메모리 벤치마크에서도 Metis는 외부 RAG 시스템과 견줄 만한 성능을 보였다. 이는 미드트레이닝으로 습득한 메모리 능력이 훈련 도메인을 넘어 일반화된다는 것을 시사한다.

스텝 레벨(좌)과 궤적 레벨(우)에서의 메모리 용량. 대화가 길어질수록 정보 손실이 발생하지만, 할인 인자와 메모리 상태 크기가 영향을 미친다.

메모리 용량의 한계

랭크(rank)가 커질수록 메모리 용량이 증가하지만, 성능 향상은 포화점에 도달한다.

효율성: 외부 메모리 대비 얼마나 빠른가

Metis는 RAG 기반 외부 메모리 대비 엔드투엔드 지연 시간에서 유의미한 우위를 보인다. 메모리 활용 비용이 고정 크기 상태에 의존하므로, 대화 길이가 늘어나도 선형 증가하지 않는다.

사례 연구

Metis가 remember, update, forget 연산을 자연어 대화에서 어떻게 수행하는지 보여주는 사례. 모델이 순방향 패스 안에서 자율적으로 메모리를 갱신하고 활용한다.

7. 메모리 파운데이션 모델의 로드맵

네이티브 메모리는 외부 메모리를 점진적으로 대체하는 것을 목표로 한다. 1단계는 기억/망각/갱신의 기본 연산, 2단계는 복잡한 다중 홉 추론, 3단계는 완전한 자율 메모리 관리다.

8. 한계와 시사점

논문은 Metis의 한계를 솔직하게 인정한다.

장기 과제에서의 성능 저하: 정보가 고정 크기 파라미터에 압축되므로, 매우 긴 상호작용 시퀀스에서는 정보 손실이 발생한다. 이것은 근본적인 트레이드오프다 — 무한한 컨텍스트를 유한한 파라미터에 담을 수 없다.

정보 혼란(Information Confusion): 일부 케이스에서, 서로 다른 정보가 잠재 공간에서 뒤섞여 잘못된 응답이 나오는 현상이 관찰되었다.

일반 능력의 유지: 메모리 특화 미드트레이닝 후에도 일반 언어 능력이 유지되었지만, 이것이 완벽하지는 않다. 백본을 Qwen3.5-4B에서 Llama로 바꾸었을 때도 메모리 능력이 전이되는지 확인했다.

이 논문이 주는 가장 큰 시사점은 “에이전트의 능력을 모델 안으로 끌어들이는” 방향성이다. 추론을 CoT로 내장했듯이, 기억을 네이티브 메모리로 내장하는 것. 이것이 완전히 실현되면, 에이전트 하네스는 더 이상 외부 메모리 관리를 걱정하지 않아도 된다.

물론 Metis는 “첫 프로토타입”이다. 4B 규모의 모델로 검증되었고, 상용 규모의 파운데이션 모델에 통합되려면 더 많은 스케일업 검증이 필요하다. 하지만 이 연구가 여는 방향성 — 메모리를 컨텍스트가 아니라 파라미터에 넣는 것 — 은 에이전트 아키텍처의 근본적인 변화를 예고한다.

더 실습해보고 싶은 분들께

에이전트 메모리, 하네스 설계, 루프 엔지니어링은 이제 이론에서 실습으로 넘어가는 단계입니다. Metis가 보여주는 “모델 안에 메모리를 넣는” 접근은 하네스 설계의 새로운 지평을 열지만, 그 앞에 기본적인 에이전트 루프와 도구 사용을 직접 만들어보는 경험은 여전히 필수적입니다.

• 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스와 자동화 루프를 실제로 구성해보는 50가지 사례
• 「모두를 위한 루프 엔지니어링」 — 에이전트 루프 설계의 기초부터 실전까지

논문: Metis: Memory Foundation Model (arXiv:2607.26760, MemTensor·RUC·NUS·SJTU·Tongji, 2026년 7월) 코드·모델: github.com/MemTensor/Metis · HuggingFace