코난쌤 블로그

MemoHarness: 에이전트 하네스가 경험에서 학습한다면?

11 min read

원논문: Wenjie Wang, Han Bao, Yuchen Ma, Xiaonan Luo, et al. “MemoHarness: Agent Harnesses That Learn from Experience.” University of Notre Dame, LMU Munich, USC. arXiv:2607.14159, 2026.

핵심 요약

LLM 에이전트의 성능은 베이스 모델만큼이나 하네스(harness)—프롬프트 구성, 도구 인터페이스, 디코딩 정책, 오케스트레이션 토폴로지, 메모리 관리, 출력 처리—가 결정한다. MemoHarness는 이 하네스 자체를 검색의 대상으로 만들고, 과거 실행 경험에서 학습하여 새로운 케이스에 맞게 적응하는 프레임워크를 제안한다.

하네스가 왜 중요한가

같은 모델, 같은 도구를 써도 하네스 설계만 바꾸면 태스크 성공률이 수십 포인트 단위로 움직인다. 이것은 실무자들의 공통 경험이고, 최근 공식 엔지니어링 블로그들에서도 반복해서 등장하는 통찰이다. 그런데 대부분의 자동 최적화 연구는 프롬프트나 개별 파이프라인에 국한되어, 하네스 전체를 구조적으로 다루지 않았다.

MemoHarness가 출발하는 질문은 단순하다:

“하네스를 고정된 구성이 아니라, 실행 경험을 통해 진화하는 학습 가능한 객체로 만들 수 없을까?“

6차원 하네스 공간

MemoHarness의 핵심 설계는 하네스를 6개의 편집 가능한 제어 차원으로 분해하는 것이다.

Table 1: MemoHarness 하네스 공간의 6차원

각 차원은 추론 파이프라인의 한 측면을 담당한다:

  1. Context — 어떤 정보를 검색하고 프롬프트에 포함할 것인가
  2. Tool — 어떤 도구와 검색 채널을 노출할 것인가
  3. Generation — 디코딩 매개변수, 호출 횟수, temperature 등
  4. Orchestration — 멀티턴 추론의 토폴로지 (순차, 분기, 병렬)
  5. Memory — 어떤 중간 결과를 보존하고 어떤 것을 버릴 것인가
  6. Output — 원시 출력을 어떻게 검증하고 후처리할 것인가

이 분해 덕분에 하네스 탐색이 “프롬프트 하나 통째로 바꾸기”가 아니라, 구조화된 차원별 편집이 된다.

이중층 경험 은행

탐색 과정에서 MemoHarness는 두 종류의 지식을 축적한다:

  • 케이스별 실행 기록(Per-case entries): 각 태스크마다 어떤 하네스 설정을 썼고, 성공했는지, 어느 차원에서 실패가 발생했는지를 진단과 함께 저장
  • 증류된 글로벌 패턴(Global patterns): 주기적으로 반복되는 실패 클러스터를 요약하여 “어떤 상황에서 어떤 차원 수정이 효과적인지”라는 일반적 지식으로 압축

Figure 1: MemoHarness 전체 파이프라인 개요

Phase A(학습 시간)에서는 레이블된 검색 케이스들로 하네스를 탐색하고, Phase B(테스트 시간)에서는 경험 은행에서 유사한 과거 케이스를 검색하여 글로벌 하네스를 현재 케이스에 맞게 적응시킨다. 테스트 시간에는 피드백이나 추가 탐색 없이 한 번의 적응만 수행한다.

테스트 시간 적응: 피드백 없이 케이스 맞춤화

MemoHarness가 기존 메타-하네스 연구와 다른 점은 test-time adaptation이다. 학습으로 얻은 글로벌 하네스 W*를 모든 테스트 케이스에 그대로 쓰지 않고, 각 케이스의 특성에 맞춰 한 번 더 조정한다.

구체적으로, 현재 케이스와 가장 유사한 성공/실패 과거 사례들을 검색하고, 글로벌 패턴과 함께 컨트롤러에 입력하여 케이스별 하네스 W(x)를 생성한다. 이 과정은 그래디언트 업데이트도, 라벨도, 추가 탐색 라운드도 필요 없다.

실험 결과

1. Terminal-Bench: 메인 벤치마크

Figure 3: 세 벤치마크에서 하네스 품질 변화

Terminal-Bench(셸 도구 사용 에이전트)에서 MemoHarness는 기존 최강 베이스라인(Codex) 대비 0.722 → 0.806으로 +8.4포인트 향상을 기록했다. 다른 베이스라인들 대비해서는 +25.0 ~ +44.5포인트 개선이었다.

2. 세 벤치마크 모두에서 개선

  • Terminal-Bench: 0.722 → 0.806
  • LiveCodeBench: 0.900 → 0.967
  • FinanceAgent: 0.600 → 0.767

특히 FinanceAgent(다단계 금융 추론)에서 가장 큰 개선이 나타났다. 이는 긴 호라이즌 에이전트 태스크일수록 하네스 최적화의 효용이 크다는 것을 시사한다.

3. 이터레이션별 궤적

Figure 4: FinanceAgent와 LiveCodeBench에서의 이터레이션별 성공률

FinanceAgent는 이터레이션이 진행될수록 계속 개선되어 65%에 도달하는 반면, LiveCodeBench는 이미 베이스 모델이 대부분의 케이스를 풀기 때문에 좁은 밴드(91~95%)에서 오실레이션한다. 즉 여유가 많은 태스크일수록 하네스 탐색의 효과가 크다.

4. 크로스-데이터셋 전이

학습된 하네스를 한 번도 보지 못한 6개의 외부 벤치마크에 적용했다. Terminal-Bench에서 학습한 하네스가 가장 넓은 전이를 보였고, 특히 SWE-Bench Pro에서 +5.9포인트, MMMLU에서 +3.0포인트 개선이 있었다. 전이가 보편적이지는 않지만, 특정 소스(특히 장기 호라이즌 도구 중심 태스크)에서 의미 있는 전이가 확인되었다.

5. 크로스-모델 전이

GPT-5.3-Codex로 학습한 하네스를 다른 6개 모델에 그대로 적용했더니 모든 모델에서 개선이 나타났다. 평균 +9.8포인트, 최대 +23.3포인트(GLM-5). 이는 학습된 하네스 변경이 단순한 모델 특유의 프롬프트 요소가 아니라, 더 이식성 있는 실행 정책이라는 것을 시사한다.

6. 비용 효율성

Table 4: Terminal-Bench 18태스크 홀드아웃에서의 비용 분석

MemoHarness는 경험 은행 검색 때문에 입력 토큰이 많아지지만, 대부분이 캐시된 컨텍스트(13.32M / 14.18M)이다. 총 비용은 $6.89로 Codex와 Claude Code보다 낮으면서 더 높은 성공률을 기록했다.

왜 중요한가

이 연구가 가리키는 방향은 명확하다:

  1. 하네스도 모델처럼 최적화 대상이다. 베이스 모델이 같아도 하네스만 바꾸면 성능이 크게 달라진다. 그리고 그 최적화를 자동화할 수 있다.
  2. 경험이 축적된다. 일회적 탐색이 아니라, 실행 이력이 구조화된 지식으로 쌓이고 후속 케이스에 재사용된다.
  3. 테스트 시간 적응이 가능하다. 피드백 없이도 과거 경험만으로 새 케이스에 맞춤형 하네스를 만들 수 있다.
  4. 전이가 된다. 한 벤치마크에서 배운 하네스가 다른 벤치마크와 다른 모델로 이월된다.

한계와 숙제

논문 자체도 솔직하게 인정하는 한계들이다:

  • 더 큰 규모의 검증이 필요하다 (특히 더 다양한 도메인과 모델)
  • 각 컴포넌트의 기여도를 분리하는 정밀 ablation이 부족하다
  • 완전히 비지도 검색(레이블 없이)은未来 과제다
  • 비용 절감 효과가 캐싱 가정에 의존한다

더 실습해보고 싶은 분들께

에이전트 하네스, 컨텍스트 엔지니어링, 루프 설계를 직접 다뤄보고 싶다면 다음 두 자료를 추천한다:

하네스 최적화는 아직 초기 단계다. MemoHarness가 보여준 것은 출발점이고, 앞으로 에이전트가 자신의 실행 환경까지 학습하는 방향으로 발전할 것이다.

그래프 뷰