에이전트에게 마카롱 레시피를 물었더니 아몬드 가루를 추천한다. 30초 전에 “견과류 알러지가 있다”고 말했는데도. 더 끔찍한 것은, “내 알러지가 뭐야?”라고 직접 물으면 정확히 대답한다는 점이다. 기억은 살아 있었다. 다론 그 기억이 필요한 순간에 도달하지 못했다.
InMind 벤치마크(arXiv:2607.24368)는 이 현상을 **“암시적 연합의 맹점(implicit-association blind spot)“**이라 명명하고, 6개 주요 메모리 시스템이 모두 같은 함정에 빠지는 것을 실험으로 증명한다. 핵심 숫자가 말해주는 이야기는 충격적이다: 메모리를 직접 컨텍스트에 넣어주면 모델은 84%를 맞추는데, 같은 메모리를 검색로 가져와야 하면 정답률이 14.4%까지 추락한다. 같은 모델, 같은 사실, 같은 질문이다.
문제의 본질: “검색 가설”의 붕괴
모든 검색 기반 메모리 시스템은 하나의 조용한 가정 위에 서 있다:
필요한 메모리는 질문과 닮아 있을 것이다.
이 가설은 직접적인 회상에서는 완벽히 작동한다. “내 알러지가 뭐야?”라는 질문은 저장된 “견과류 알러지”라는 메모리와 의미적으로 가깝다. 벡터 검색, 그래프 순회, 에이전트 탐색 — 어떤 방식이든 이 질문을 처리하기 쉽다.
그러나 세계 지식이 매개하는 암시적 연결에서는 이 가설이 붕괴한다:
- 고양이를 키운다 → 백합은 위험하다 (수의학 지식이 매개)
- 카르바마제필을 복용 중이다 → 자몽을 피해야 한다 (약물 상호작용)
- 청력 장애가 있다 → 시끄러운 식당을 피해야 한다 (직업안전보건)
- 이슬람교도다 → 젤라틴 캡슐 주의 (식이법)
이들 쌍은 어떤 토큰, 토픽, 임베딩 공간에서도 가깝지 않다. “백합”과 “고양이”는 일반 텍스트에서 완전히 다른 주제로 취급된다. 연결고리는 두 텍스트 어디에도 명시되지 않은 배경지식에 존재한다.
Figure 2: 모든 검색 기반 메모리 아키텍처는 결국 같은 병목을 공유한다 — 의미적 유사도 링크를 거쳐야 한다. 이 링크가 바로 암시적 연결이 끊어지는 지점이다.
InMind 벤치마크 구조
InMind는 125개의 과제로 구성되며, 각 과제는 세 가지 질문을 쌍으로 갖는다:
- 직접 질문(Naive): “내 알러지가 뭐야?” — 저장 여부를 테스트
- 간접 질문(Indirect): “마카롱 만들고 싶어” — 적용 여부를 테스트
- 컨텍스트 내 질문(In-context): 메모리를 직접 주입 — 모델의 연결 능력을 테스트
이 삼중 설계가 기존 벤치마크가 혼동하던 세 가지 실패 원인을 분리한다:
| 실패 원인 | 진단 방법 |
|---|---|
| 저장 실패 | 직접 질문 실패 |
| 모델 지식 부족 | 컨텍스트 내 질문 실패 |
| 검색 실패 (핵심) | 직접은 맞추고 간접은 틀림 |
도메인 분포
Figure 3: InMind는 Anthropic의 실제 사용 패턴 분석을 기반으로 도메인을 가중치 설계했다. 건강·안전 도메인에 집중한 이유는 실패의 판독이 명확하기 때문이다.
113개 과제는 FDA, OSHA, CDC, USCIS 등 인용 가능한 공공 출처에 근거하고 있으며, 나머지 12개는 전문가 작성이다. 모든 과제는 전문가 검증을 거쳤다.
실험 결과: 84% vs 14%의 갭
핵심 결과표
Table 1 핵심 수치 (원문 Table 1 인용):
| 시스템 | 직접 회상 (Naive) | 타겟 회상 (Target) | 간접 적용 (Application) |
|---|---|---|---|
| A-Mem (MiniLM) | 100.0% | 2.4% | 6.4% |
| A-Mem (emb3-large) | 98.4% | 12.0% | 9.6% |
| HippoRAG 2 (MiniLM) | 99.2% | 4.0% | 8.8% |
| HippoRAG 2 (emb3-large) | 98.4% | 8.0% | 5.6% |
| A-RAG (MiniLM, 15-step) | 93.6% | 5.6% | 4.8% |
| A-RAG (emb3-large) | 93.6% | 11.2% | 7.2% |
| MemoryOS (emb3-large) | 96.8% | 7.2% | 14.4% |
| Naive RAG (emb3-large) | 93.6% | 12.0% | 16.0% |
| Backbone (in-context) | — | — | 84.0% |
한 줄 요약 — 직접 회상은 최대 100%, 간접 적용은 16%를 넘지 못한다. 6개 시스템 모두 같은 패턴을 보인다.
결과를 읽어보자:
- A-Mem: 직접 회상 100%, 간접 적용 6.4–9.6%
- HippoRAG 2: 직접 회상 99.2%, 간접 적용 5.6–8.8%
- A-RAG (15단계 에이전트 탐색): 직접 회상 93.6%, 간접 적용 4.8–7.2%
- MemoryOS: 직접 회상 96.8%, 간접 적용 8.0–14.4% (최고)
- Naive RAG (가장 단순): 직접 회상 93.6%, 간접 적용 10.4–16.0%
모든 시스템이 사실을 저장했고, 직접 질문에는 거의 완벽하게 대답했다. 그런데 같은 사실을 적용해야 할 때는 모두 14% 이하로 추락한다.
임베딩을 8배 키워도 안 된다
384차원(MiniLM)에서 3,072차원(text-embedding-3-large)으로 바꾸면 어떻게 될까? 타겟 회상율은 오른다 — A-Mem은 2.4%에서 12.0%로 향상된다. 하지만 최종 적용률은 여전히 한자릿수에서 저 두자릿수다. 70점 갭의 일부를 줄일 뿐이다.
이유는 명확하다. 더 강력한 임베딩은 훈련 데이터에서 공동 출현 패턴을 학습했기 때문에 일부 연결고리를 반영한다. 그러나 약물 상호작용, 식이법, 직업 안전 같은 지식은 텍스트에서 공동 출현하지 않는다. 임베딩은 잘못된 방향에서 세계 모델을 근사할 뿐이다.
Figure 4: BGE-small 인코더로 재평가한 결과. InMind만 타겟 메모리와 노이즈가 분리되지 않는다. 기존 벤치마크(LoCoMo, LoCoMo-Plus, LME-s)는 모두 타겟이 노이즈보다 높은 유사도를 가진다.
왜 더 열심히 검색해도 소용없는가
“에이전트가 15단계나 검색할 수 있는데?”라는 의문이 생긴다. A-RAG가 바로 그 실험이다 — 계획하고, 키워드와 의미 검색을 수행하고, 청크를 읽고, 최대 15번까지 루프를 돈다. 결과는 4.8–7.2%로 가장 낮은 편이었다.
이유는 근본적이다. 검색 쿼리는 이미 메모리를 보기 전에 고정된 표현에서 출발한다. “이 사용자에 대해 백합을 위험하게 만들 수 있는 게 뭘까?”라는 질문은 저장된 어떤 팩트와도 닮지 않았다 — “고양이를 키운다”는 기록은 이 질문과 의미적으로 아무런 신호를 주지 않는다. 더 큰 건초더미를 더 철저히 뒤져봐야, 바늘이 쿼리를 닮지 않는 이상 소용없다.
유일하게 작동하는 접근은 “사용자가 고양이를 키우나요?”라고 저장된 팩트의 어휘로 질문하는 것이다. 하지만 이 질문을 던지려면, 검색 에이전트가 먼저 (1) 백합이 고양이에게 독성이라는 것을 알고, (2) 고양이 외에 백합이 위험할 수 있는 대상(알러지가 있는 가족, 새, 호기심 많은 아이)을 나열하고, (3) 각 후보를 순회하며 쿼리해야 한다. 이것은 추론이 아니라 가설 형성이며, 안전이 요구되는 맥락에서 확률적 추측에 의존해야 한다.
해결책의 윤곽: “항시 가시 상태(Always-in-State)”
검색 인터페이스 자체가 문제라면, 검색을 제거하면 어떨까? 연구진은 가장 날것의 형태를 테스트했다:
- 200줄 제한 마크다운 파일 하나
- 매 세션 후 GPT-5-mini가 업데이트
- 답변 시 시스템 프롬프트에 전체 파일 삽입
- 임베딩, 벡터 저장소, 인덱스, 순위 — 없음
Table 2: 200줄짜리 프로필 파일 하나로 68.8% 달성. 복잡한 검색 인프라 전체가 회수하는 것보다 훨씬 많다.
결과: 68.8%. 가장 단순한 검색 설정(16.0%)의 4배 이상이다. 핵심 통찰은 이것이다: 쿼리와 메모리 사이에 검색기가 서지 않을 때, 모델은 두 정보를 동시에 보고 세계 지식으로 연결한다.
물론 이것은 해결책이 아니다. 200줄 파일은 채워지면 사실이 밀려난다. 프라이버시 노출도 커진다. MemoryOS는 이미 프로필을 항시 컨텍스트에 포함하는데도 14.4%에 그쳤다 — 프로필에 결정적 사실이 들어 있지 않으면 소용이 없기 때문이다.
열린 문제: 라우팅(Routing)
연구진이 지적하는 진짜 문제는 라우팅이다:
어떤 메모리가 항시 가시 상태에 들어갈 자격이 있는가?
현재 하이브리드 시스템들은 빈도, 최신성, MemoryOS의 “heat threshold” 같은 프록시로 이 결정을 내린다. 그러나 이 프록시들은 먼 미래에 결정적이 될 수 있는 먼 연결고리를 볼 수 없다. 사용자가 한 번 언급한 “고양이”는 빈도가 낮아 프로필에서 밀려나고, 백합 질문이 왔을 때 검색으로 떨어지며, 거기서 실패한다.
InMind는 이 라우팅 결정 자체를 측정하는 최초의 벤치마크다. 하이브리드 시스템의 라우터가 결정적 사실을 가시 상태에서 빼버리면, 그 시스템은 간접 질문에서 실패한다. 그리고 현재 모든 라우터가 그렇다.
기존 벤치마크와의 차이
Table 3 요약: InMind만이 (1) 외부 지식 브리지, (2) 인용 가능한 출처 근거, (3) 저장과 적용을 분리하는 쌍 질문을 모두 갖추고 있다. 기존 벤치마크(LoCoMo, LoCoMo-Plus, LME-s, ImplicitMemBench)는 이 중 하나 이상을 결여하고 있다.
기존 벤치마크의 핵심 한계는 연관성 분포에 있다. LLM이 작업을 생성하면, 그 연관성은 정의상 모델이 자연스럽게 발견하는 연결이다. 동일한 사전으로 테스트 시에도 재발견된다. InMind의 과제는 공공 문서에서 나오기 때문에, 모델이 자연스럽게 연결짓는지와 무관하게 전문가가 검증한 브리지에 기반한다.
시사점: 에이전트 메모리 설계의 방향 전환
이 연구가 던지는 불편한 진실은:
지금까지 메모리 시스템 연구는 이미 작동하는 곳에 노력을 쏟아왔다. 저장, 인덱싱, 그래프 구축, 반복 검색 — 모두 “에이전트가 무엇을 찾을지 알 때” 더 잘 찾도록 만든다. 그런데 그것이 바로 어려운 부분이다.
검색 기반 메모리는 유지보수가 가능하고 확장 가능하다. 그러나 유사도 판단을 similarity function에 맡기고, 세계 모델은 그 판단 이후에야 참조하는 구조적 결함을 안고 있다. 이것은 구현의 문제가 아니라 패러다임의 문제다.
라우팅 — 어떤 사실이 가시 상태에 머물고, 어떤 사실이 검색으로 떨어지는가 — 가 미해결 문제로 남으며, InMind는 그 문제를 측정하기 위한 도구로 설계되었다.
더 실습해보고 싶은 분들께
에이전트 메모리와 컨텍스트 엔지니어링, 라우팅 설계는 하네스(harness) 아키텍처의 핵심입니다. 직접 루프를 설계하고 메모리 전략을 실험해보고 싶다면:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 자동화와 도구 사용을 직접 다뤄보는 실전 가이드
- 「모두를 위한 루프 엔지니어링」 — 에이전트 루프 설계와 컨텍스트 관리를 체계적으로 학습하는 강의
원문: InMind: Keep It InMind — Benchmarking the Implicit-Association Blind Spot in Agent Memory (arXiv:2607.24368, 2026년 7월)