원문: “Self-Improvements in Modern Agentic Systems: A Survey” (arXiv:2607.13104, 97페이지, 12개 그림) 저자: 자가개선 에이전트 연구팀 | 프로젝트 페이지: selfimproving-agent.github.io
핵심 요약
이 서베이는 자기 개선(self-improvement)하는 AI 에이전트라는 신흥 패러다임을 체계적으로 정리한다. 단순히 “더 큰 모델”이 아니라, 에이전트가 경험을 통해 스스로를 개선하는 메커니즘을 파라메트릭 개선(모델 가중치 업데이트)과 비파라메트릭 개선(프롬프트·메모리·도구·제어 로직 수정)의 두 가지 경로로 분류한다.
Figure 1은 이 서베이의 전체 구조를 보여준다. 에이전트를 구성하는 두 축—파운데이션 모델(θ)과 스캐폴딩(Σ, 즉 프롬프트·메모리·도구·제어 로직)—중 어느 것을 업데이트하느냐에 따라 개선 경로가 나뉜다.
1. 왜 “자기 개선”인가?
현재의 LLM 에이전트는 고정된 프롬프트, 정적인 메모리, 미리 정의된 도구 목록으로 동작한다. 하지만 실제 환경에서 에이전트는 반복적으로 실패하고, 그 실패에서 배워야 한다. 이 서베이가 주목하는 질문은 단순하다:
에이전트가 자신의 경험을 통해 스스로를 개선할 수 있는가?
답은 “부분적으로 그렇다”이다. 그리고 그 “부분적”인 영역을 정밀하게 지도 그리는 것이 이 97페이지 서베이의 목표다.
Figure 3은 제안된 통합 분류 체계를 보여준다. 파운데이션 모델 개선(FM improvement)과 스캐폴딩 개선(scaffolding improvement)이라는 두 축을 중심으로, 각각의 하위 메커니즘이 어떻게 연결되는지를 체계적으로 배치한다.
2. 두 가지 자기 개선 경로
2.1 파운데이션 모델 개선 (FM Improvement)
에이전트가 자신의 경험을 학습 신호로 변환하여 모델 가중치 θ를 업데이트하는 경로다. 느리지만 강력한 루프이며, 세 가지 신호 유형으로 나뉜다:
- 내재적 생성 시연 (Intrinsic Generative Demonstration): 에이전트가 스스로 고품질 궤적을 생성하고 이를 학습 데이터로 활용. 자기 일관성(self-consistency), 자기 플레이(self-play), 궤적 증류(trajectory distillation)가 여기에 해당.
- 내재적 평가 피드백 (Intrinsic Evaluative Feedback): 에이전트가 자체 판단자(judge)나 보상 모델을 통해 산출물을 평가하고, 그 피드백으로 강화학습 수행. RLHF의 자율 버전이라 볼 수 있다.
- 외재적 탐험 경험 (Extrinsic Exploratory Experience): 환경과의 상호작용에서 얻은 실행 피드백(컴파일러 오류, 테스트 결과, 사용자 반응 등)을 학습 신호로 사용.
Figure 6은 파운데이션 모델 개선의 전체 흐름을 도식화한다. 에이전트가 환경에서 수집한 경험을 학습 신호로 변환하고, 이것이 어떻게 모델 가중치 업데이트로 이어지는지를 보여준다.
2.2 스캐폴딩 개선 (Scaffolding Improvement)
모델 가중치는 그대로 두고, **운영 체계(Σ)**를 수정하는 더 빠른 루프다. 이 서베이는 네 가지 구성 요소를 식별한다:
프롬프트 개선
Figure 7은 프롬프트 개선을 네 가지 패러다임—진화적 최적화, 자기 반성 기반 수정, 컨텍스트 기반 적응, 메타 프롬프팅—으로 분류한다. 에이전트가 실패 패턴에서 규칙을 추출해 프롬프트에 주입하는 방식이 대표적이다.
메모리 개선
메모리는 단순한 저장소가 아니라 능동적으로 진화하는 인지 비계다. 서베이는 메모리 개선을 CRUD(Create, Read, Update, Delete) 프레임워크로 공식화한다:
- Create: 어떤 경험을 메모리에 기록할 것인가? 단순 로깅을 넘어 고밀도 추상화를 저장.
- Read: 검색 게이팅(retrieval gating)을 통해 언제, 얼마나 많은 컨텍스트를 가져올 것인가?
- Update: 기존 메모리를 어떻게 정정하고 압축할 것인가?
- Delete: 언제 잊을 것인가? 망각의 결정이 성능에 미치는 영향.
도구 개선 (Tool Governance)
Figure 5는 에이전트의 공식적 구조를 보여주며, 도구 집합 𝒯가 프롬프트(p), 메모리(m), 제어 로직(g)과 함께 스캐폴딩 Σ를 구성함을 나타낸다. 도구 개선은 세 차원으로 전개된다:
- 동적 도구 라우팅 (Dynamic Tool Routing): 도구 풀이 커져도 효율적으로 선택·조합.
- 반복적 도구 정제 (Iterative Tool Refinement): 실행 실패에 대응해 기존 도구를 디버깅하고 개선.
- 자율적 도구 생성 (Autonomous Tool Creation): 기존 도구가 부족할 때 새로운 실행 가능한 함수를 합성. 일회성 문제 해결을 재사용 가능한 절차적 지식으로 변환.
도구 생성은 가장 강력하지만 동시에 가장 위험한 개선 경로다. 새로 만든 도구가 검증·문서화·통합되지 않으면, 도구 증가가 오히려 취약성을 키운다.
전체 스캐폴딩 개선
가장 깊은 수준의 개선이다. 개별 구성 요소가 아니라 에이전트의 전체 운영 로직과 코드베이스를 변경 대상으로 본다. SymbolicOptimizer가 자연어 손실/그래디언트를 통해 프롬프트, 도구, 파이프라인을 동시에 업데이트하는 접근이 소개된다.
3. 자기 개선의 역사적 맥락
Figure 4는 자기 개선 개념의 역사적 뿌리를 추적한다. 1950년대 튜링의 학습 기계 구상에서 시작해, GOFAI 시대의 메타 추론, 2000년대 이후 기계학습 기반의 자동 아키텍처 탐색(NAS 등), 그리고 현재의 FM 기반 자기 개선 에이전트에 이르기까지의 궤적을 그린다.
Figure 2는 FM 기반 에이전트의 구체적 타임라인과 분류를 제시한다. 2023년 Reflexion, 2024년 Voyager와 FRIDAY, 2025년 이후의 다양한 자기 개선 시스템들이 어떤 계보 위에 놓이는지 한눈에 볼 수 있다.
4. 평가의 과제
자기 개선 에이전트를 평가하는 것은 일반 에이전트보다 훨씬 어렵다. 서베이는 다음 요소들을 평가 프로토콜에 명시해야 한다고 강조한다:
- 무엇이 지속되는가? 모델 가중치, 메모리, 도구, 프롬프트 중 어떤 것이 에피소드 간에 유지되는가?
- 어떤 피드백 신호가 개선을 주도하는가? 환경 보상, 자체 판단, 오류 분석?
- 예산 제약: 개선에 사용할 수 있는 토큰, 시간, API 호출 한도.
- 진짜 능력 향상 vs. 파이프라인 아티팩트: 개선이 실제 일반화 성능으로 이어지는가, 아니면 특정 평가를 해킹하는가?
특히 마지막 점은 중요하다. 자기 개선 에이전트는 **보상 해킹(reward hacking)**의 위험을 내재적으로 가진다. 에이전트가 자신을 평가하는 루프에 들어가면, 진짜 능력 향상인지 평가 지표 게임인지 구분하기 어려워진다.
5. 응용 분야별 패턴
서베이는 여러 도메인에서 자기 개선이 어떻게 나타나는지 정리한다:
| 분야 | 피드백 원천 | 주요 개선 대상 |
|---|---|---|
| 소프트웨어 엔지니어링 | 컴파일러, 테스트, CI/CD | 프롬프트, 도구, 메모리 |
| 웹 자동화 | 브라우저 상태, 작업 완료 여부 | 프롬프트, 전체 스캐폴딩 |
| 과학 발견 | 워크플로우 결과, 재현성 | 도구, 메모리 |
| 게임 | 규칙 기반 보상 | 모델 가중치 |
| 로봇/임바디드 | 시뮬레이터 피드백 | 모델 가중치 + 스캐폴딩 |
소프트웨어 엔지니어링이 가장 활발한 테스트베드인 이유는 명확하다: 컴파일러와 단위 테스트가 조작 불가능한 객관적 피드백을 제공하기 때문이다.
6. 공개 과제와 미래 방향
서베이는 결론에서 자기 개선 에이전트 설계의 핵심 딜레마를 정리한다:
빠른 탐색 vs. 느린 통합
에이전트가 매 에피소드마다 빠르게 적응하는 것(프롬프트 수정, 메모리 업데이트)과 장기적으로 안정적인 능력 향상을 이루는 것(모델 가중치 학습) 사이의 긴장.
안전성과 거버넌스
자기 개선 능력이 커질수록 통제 문제가 심각해진다. 에이전트가 자신의 도구를 무한히 생성하고 메모리를 자유롭게 수정할 수 있다면, 시스템은 예측 불가능해진다. 서명된 라이프사이클 전환, 권한 계층, 외부 감사가 필수적이다.
평가의 표준화 부재
현재 자기 개선 에이전트 연구는 각기 다른 평가 프로토콜, 다른 베이스라인, 다른 예산 설정을 사용한다. 서로 다른 연구 결과를 비교하기 어렵고, 이것이 분야 전체의 발전을 저해한다.
기호적 학습(Symbolic Learning)의 한계
프롬프트와 도구를 자연어로 표현된 “손실 함수”로 최적화하는 접근(예: SymbolicOptimizer)은 우아하지만, 자연어 피드백의 노이즈와 모호성이 수렴을 방해한다.
개인적 관점
이 서베이가 가치 있는 이유는 단순한 기술 나열이 아니라 하나의 통합 프레임워크를 제공하기 때문이다. 에이전트를 𝒜 = (θ, Σ)로 추상화하고, 자기 개선을 θ 또는 Σ에 대한 업데이트 연산자로 공식화하는 관점은 분야 전체를 지도 위에 배치한다.
특히 주목할 점은 **도구 자율 생성(Autonomous Tool Creation)**에 대한 경고다. 많은 연구가 “에이전트가 스스로 도구를 만든다”는 능력을 자랑스럽게 보고하지만, 이 서베이는 생성된 도구의 검증·문서화·안정성 통합이 없으면 도구 증가가 오히려 취약성을 키운다고 지적한다. 이것은 자기 개선 에이전트를 실제로 배포하려는 엔지니어에게 매우 실용적인 통찰이다.
또한 평가의 어려움에 대한 서베이의 강조는 시의적절하다. 자기 개선 에이전트의 “개선”이 진짜인지 아티팩트인지 구분하는 것은, 단순한 학술적 관심이 아니라 배포 안전성과 직결된 문제다.
참고 자료
- 📄 원문: arXiv:2607.13104
- 🔬 프로젝트 페이지: selfimproving-agent.github.io
- 💻 코드 저장소: github.com/selfimproving-agent/awesome-Self-Improving-Agents