코난쌤 블로그

에이전트가 파일시스템에 기억을 맡겼을 때 벌어지는 일 — 최초의 체계적 실증 연구

13 min read

deployed LLM 에이전트의 메모리는 이미 파일시스템이다. Claude Code의 메모리 폴더, Anthropic의 memory tool, OpenAI의 dreaming — 모두 디렉토리 트리에 마크다운 파일을 쓰는 방식으로 작동한다. 그런데 정작 이 “파일시스템 메모리”가 시간이 지남에 따라 어떻게 변하는지, 에이전트가 스스로 조직화한 메모리가 실제로 성능에 도움이 되는지를 체계적으로 조사한 연구는 없었다. UIUC·UCSD·Adobe Research·Texas A&M 팀이 이 빈칸을 채웠다. 59페이지, 12개 그림, 18개 표의 분량으로, 파일시스템 기반 에이전트 메모리의 조직화·진화·지속가능성을 최초로 체계적으로 탐구한 논문이 2026년 7월 arXiv에 공개되었다.

문제: 아무도 검증하지 않은 기본 가정

현재 배포된 거의 모든 장기 기억 에이전트 시스템은 파일시스템을 메모리 저장소로 사용한다. Anthropic의 memory tool은 6개의 범용 파일 조작 도구(view, create, edit, insert, delete, rename)로 디렉토리를 관리하고, Claude Code는 인덱싱된 메모리 폴더를 유지하며, OpenAI의 “dreaming”은 백그라운드에서 메모리를 재구성한다.

이 접근에는 두 개의 검증되지 않은 가정이 깔려 있다:

  1. 조직화 가정: 에이전트가 메모리가 축적·갈등·노후화됨에도 저장소를 정돈된 상태로 유지할 수 있다
  2. 가치 가정: 그 조직화가 성능 향상으로 이어진다

논문의 결론을 미리 말하면: 둘 다 조건부로만 참이다.

프레임워크: 세 역할, 하나의 저장소

연구진은 파일시스템 메모리 시스템을 세 가지 역할로 정식화한다:

  • 관리 에이전트(Management Agent): 들어오는 청크를 저장소에 통합하고 조직화한다
  • 검색 에이전트(Search Agent): 저장소를 탐색하여 인용이 포함된 답변을 반환한다
  • 실행 에이전트(Execution Agent): 태스크를 수행하고 궤적을 제공한다 (스킬 설정에서만 등장)

Figure 4: 메모리 저장소가 체인을 따라 어떻게 성장하는지 보여주는 그래프. 왼쪽은 에피소드 로그가 선형적으로 증가하는 반면, 큐레이션된 스토어는 압축을 유지한다.

이 역할 분해는 배포된 하네스(harness)에 그대로 대응된다. 코딩 에이전트라면 세 역할 모두를 하나의 모델이 수행할 수도 있다. 계약(contract)은 최소적으로 설계되었기 때문에, 연구가 처방하는 것이 아니라 이미 배포된 시스템을 설명한다.

실험 설계: 대화 메모리와 절차적 메모리

두 가지 설정에서 연구를 수행한다:

대화형 메모리: LoCoMo, PersonaMem, REALTALK 벤치마크를 사용. 다중 세션 대화의 슬라이스가 스트림으로 들어오고, 관리 에이전트가 이를 파일시스템에 통합하며, 검색 에이전트가 질문에 답한다.

절차적 메모리(스킬): ALFWorld의 140개 가사 태스크를 순차적으로 수행. 이전 태스크에서 추출된 스킬이 저장소에 누적되고, 후속 태스크가 이 스킬을 검색·활용한다. 누출 방지(leak-free) 프로토콜로, 태스크 i는 태스크 1~i-1에서 만들어진 저장소만 사용한다.

여섯 가지 메모리 변형을 비교한다:

  • Closed-book: 저장소 없음 (기준선)
  • Chunk retrieval: 표준 RAG (BM25 청크 검색)
  • Verbatim dump: 세션별 파일에 그대로 복사
  • Foldered sessions: 폴더 구조만 추가
  • Reorganized store: 내용 재구성 (버전별로 압축/보존 구분)
  • Agent-curated store: 에이전트가 내용과 조직을 함께 결정

핵심 발견 1: 조직화는 모델의 서명이다 (RQ1)

관리 에이전트가 자유롭게 조직화할 때, 결과물의 형태는 재료가 아니라 모델에 의해 결정된다.

  • LoCoMo에서 gpt-5.4-mini는 3개 파일에 116개의 마크다운 헤딩을 만들어 깊이 5까지 내려간다
  • PersonaMem 128k에서는 2개 파일에 210개 섹션으로 깊이 6까지 중첩한다
  • 같은 128k 대화에서 gpt-5.4-nano는 12개 폴더에 122개 파일을 만들지만, gpt-5.4는 4개 폴더에 105개 파일을 만든다

가장 흥미로운 퇴행 동작은 **“재조직화 패스가 조용히 내용을 압축”**하는 현상이었다. 명시적인 압축 지시가 없어도, 모델이 파일을 재구성하면서 디테일을 떨어뜨린다. “모든 사실을 보존하라”는 단 한 줄 규칙을 추가해야 이것이 막힌다.

핵심 발견 2: 조직화가 보장하는 것은 검색 비용 절감뿐 (RQ2)

어떤 형태도 모든 벤치마크에서 정답률 1위를 차지하지 못한다. 조직화의 유일한 무조건적 이익은 검색 비용이다.

Figure 5: 청크별 궤적에서의 대화형 빌드 곡선. 상단이 정답률, 하단이 저장소 크기다.

정리된 저장소는 재료가 클 때 검색 비용을 대략 절반으로 줄인다. 하지만 정답률 향상으로 이어지지는 않는다. 이것은 현재의 평가 벤치마크가 메모리 형태의 차이를 감지할 만큼 민감하지 않다는 한계이기도 하다.

핵심 발견 3: 모델 능력이 작용하는 지점이 다르다 (RQ3)

대화형 설정에서:

  • 관리 에이전트의 강화 → 조직 스타일은 향상, 정답률은 변화 없음
  • 검색 에이전트의 강화 → 정답률 직접 향상

스킬 설정에서는 역전이 일어난다:

  • 관리 에이전트의 강화 → 임계점을 넘으면 정답률 향상
  • 실행 에이전트의 강화 → 강한 실행 에이전트일수록 “그대로 남긴 에피소드 로그”가 더 잘 맞는다

Figure 6: 저장소가 성장함에 따른 메모리의 이점 변화. 실행 성공률에서 무저장소 기준선을 뺀 값이다.

이 발견의 실무적 시사점은 명확하다: 메모리 시스템에 투자할 때 어디에 투자할지가 설정에 따라 달라진다. 대화형이라면 검색 에이전트에 예산을 쓰고, 스킬이라면 관리 에이전트에 예산을 써라.

핵심 발견 4: 저장소는 성장해도 건강하다 — 조직화는 아니다 (RQ4)

긍정적인 발견: 측정한 모든 기간 내에서, 저장소는 커질수록 유용해진다. 축적된 경험은 실행 에이전트의 능력을 대체한다. 저장소 건강성도 유지된다 — 대화형 저장소는 초기에 몇 개의 파일을 만들고 그 후로는 편집만 한다. 스킬 저장소에서도 초기 메모리가 살아남는다.

Figure 8: 경로 수준에서의 저장소 라이프사이클. 모든 시리즈는 큐레이션된 저장소의 파일 경로 변화를 추적한다.

하지만 조직화의 지속가능성은 약한 고리다. 세금(contract) 준수도가 대부분의 저장소에서 성장함에 따라 저하되며, 가장 강력한 관리 에이전트만이 이를 유지한다.

Figure 9: 체인을 따라 저장소의 내용 수준 계층 구조 변화. 태스크마다 스냅샷을 재구성한 결과다.

핵심 발견 5: 하네스가 저장소를 바꾼다 (RQ5)

도구를 바꾸면 에이전트 행동은 바뀌지만 결과는 그대로인 반면, 도구 세트를 교체하면 저장소 자체가 변한다.

Table 9: 하네스 축의 결과. 세 가지 도구 세트 하에서의 정답률 비교.

  • 샌드박스 셸(shell)을 주면: 대화에서는 분산·타이(sharding & tying), 스킬에서는 통합·승리(consolidating & winning)
  • BM25 검색을 추가하면: 검색이 조직화의 차이를 가려버린다

하네스는 중립적인 래퍼가 아니라 메모리 조직화의 제어 노브다.

검색 비용의 역학

Figure 7: 체인을 따라 태스크당 검색 비용(센트). 희미한 선은 개별 태스크, 굵은 선은 이동 평균이다.

조직화된 저장소가 검색 비용을 절반으로 줄이는 효과는 재료가 클수록 커진다. 이것은 단순한 효율성 문제가 아니다. 에이전트가 한 번의 검색 라운드에서 읽어야 하는 토큰 양이 정답 품질에 직결되기 때문이다.

스킬 설정: 큐레이션의 역설

ALFWorld 140 태스크에서 가장 흥미로운 결과는 승자가 뒤집히는 현상이다:

  • 강한 실행 에이전트 → 에피소드 로그(가공 없는 그대로의 궤적)가 가장 좋다
  • 약한 실행 에이전트 → 큐레이션된 스킬 가이드가 더 좋다

이것은 메모리 큐레이션의 본질을 다시 생각하게 만든다. 큐레이션은 약한 소비자를 위한 번역이지, 강한 소비자를 위한 증폭이 아니다.

실무적 시사점

이 논문이 에이전트 메모리 시스템 설계자에게 주는 교훈을 정리하면:

  1. 저장소는 믿을 수 있다: 측정한 기간 내에서, 커진 저장소는 더 유용하고 건강하다. 데이터 손실이나 붕괴 없이 성장한다.
  2. 조직화는 만능이 아니다: 정답률이 아니라 검색 비용에 영향을 준다. 과도한 큐레이션은 비용만 늘린다.
  3. 도구가 곧 저장소다: 도구 세트를 바꾸면 저장소의 형태가 바뀐다. 하네스는 설계 변수다.
  4. 모델 투자 처가 다르다: 대화형 메모리라면 검색 에이전트에, 스킬 메모리라면 관리 에이전트에 투자하라.
  5. 재조직화는 위험하다: 명시적 보존 규칙 없이 파일을 재구성하면 내용이 조용히 사라진다.
  6. 벤치마크의 한계: 현재 평가 벤치마크는 메모리 형태의 차이를 감지할 만큼 민감하지 않다. 더 좋은 벤치마크가 필요하다.

더 실습해보고 싶은 분들께

에이전트 메모리 설계, 하네스 최적화, 컨텍스트 엔지니어링에 관심이 있다면 아래 두 자료를 추천한다:

논문: Sizhe Zhou et al., “Filesystem-Based Memory for LLM Agents: Organization, Evolution, and Sustainability,” arXiv:2607.26637, 2026. PDF 링크

그래프 뷰