RoMeRL(Reduced-Order Memory Reinforcement Learning)은 자가진화 LLM 에이전트의 메모리 시스템에서 발생하는 “메모리-보상 함정(Memory-Reward Trap)” 문제를 해결하는 프레임워크입니다. Nanjing University, Xiamen University, Zhejiang University 공동 연구이며, 2026년 8월 arXiv에 게시되었습니다.
문제 정의
기존 학습 기반 에이전트 메모리 시스템은 각 궤적(trajectory)에 개별 Q값을 할당하고, 작업 결과 보상으로 업데이트합니다. 궤적이 누적됨에 따라 두 가지 문제가 발생합니다.
- 피드백 희석: Q값 차원이 궤적 수에 비례하여 증가하므로, 개별 Q값이 업데이트를 받을 확률이 감소합니다. 대부분의 메모리가 cold-start 상태에 놓입니다.
- 메모리-보상 함정(MRT): 궤적 수준 보상이 공동으로 검색된 메모리들에 일괄 할당되므로, 무관한 기억이 성공 에피소드에 우연히 포함된 경우에도 양의 보상을 받습니다. 이후 Q값이 상승하여 더 자주 검색되고, 보상 오염이 자기강화됩니다.
논문은 이를 공식적으로 정의합니다. 기억 mᵢ의 관측 효용 μᵢ와 한계 기여도 θᵢ가 다를 수 있으며, θᵢ ≤ 0인데 μᵢ − v⁰ > 0인 상황을 메모리-보상 함정으로 규정합니다.
방법론: 축소 차원 메모리 상태
RoMeRL은 궤적 인덱스 기반 Q값 학습을 대체하여, 작업별로 고정 4차원 상태를 유지합니다. 두 축의 조합으로 구성됩니다:
- 결과 극성(Outcome polarity): 성공(+) / 실패(−)
- 기억 역학(Memory dynamics): 정산(Consolidated) / 적응(Adaptive)
| 좌표 | 명칭 | 내용 |
|---|---|---|
| (+, C) | PCC | 가장 효율적인 성공 궤적 |
| (+, A) | PAC | 최초 실패 이후 첫 성공 궤적 |
| (−, C) | NCC | 하류 보상이 입계값 초과로 누적된 실패 궤적 |
| (−, A) | NAC | 가장 최근 실패 궤적 |
새 경험은 기존 좌표의 내용을 교체하며, 새로운 차원을 추가하지 않습니다. 따라서 학습 대상 Q값 차원은 항상 4로 고정됩니다.
이론적 근거
논문은 세 가지 결과로 차원 축소의 효과를 증명합니다.
- 정리 1: Q값 추정 오차에서 분산 항(σ²/n)은 피드백으로 감소 가능하나, 관측 편향(aᵢ)은 감소하지 않습니다.
- 정리 2: N개 궤적을 ε 오차 내로 추정하기 위한 충분 피드백 예산은 O(N/ε² · log(N/δ))입니다.
- 정리 3: 차원 d로 고정 시 좌표당 평균 피드백은 kT/d이며, 풀풀 대비 N/d배 집중됩니다.
실험 결과
ALFWorld 및 LifelongAgentBench(OS, DB)에서 평가했습니다. LLM 백본은 동결한 상태로 메모리 시스템만 비교했습니다.
| 지표 | MemRL | RoMeRL | 변화 |
|---|---|---|---|
| 전체 평균 성공률 | 0.830 | 0.862 | +3.2pp |
| Cold-Q 비율 | 44.9% | 9.0% | −80.0% |
| 피드백 밀도 | 4.96 | 29.93 | 6.0× |
| 메모리 풀 크기 | ~45K | ~7K | −84.4% |
| LLM 호출 수 | ~570K | ~450K | −21.1% |
의도적 노이즈 주입 스트레스 테스트에서 RoMeRL은 노이즈 비율 0.15%를 기록했으며, MemRL+UCB는 1.20%였습니다. 크로스 모델 전이 실험에서 7B 모델로 구축한 메모리 상태를 3B에 적용했을 때도 성공률 향상과 스텝 감소가 확인되었습니다.
더 실습해보고 싶은 분들께
에이전트 루프, 메모리, RL 포스트트레이닝을 직접 실험해보려면:
코드
평가용 코드가 GitHub에 공개되어 있습니다.