MetaSkill-Evolve: 에이전트 스킬을 넘어 '스킬을 개선하는 방법'까지 진화시키다

핵심 요약

LLM 에이전트의 자기개선 연구는 “무엇을 하는지(태스크 스킬)“는 바꾸면서도 “어떻게 개선하는지(개선 절차)“는 고정해두는 모순에 빠져 있었다. MetaSkill-Evolve는 이 개선 절차 자체를 학습 가능한 객체로 만들어, 같은 파이프라인이 태스크 스킬과 메타 스킬을 서로 다른 시간 스케일로 진화시키는 프레임워크다. Gemma-4 31B 백본 기준으로 OfficeQA +23.54점, SealQA +16.09점, ALFWorld +1.92점 향상을 달성했다.

배경: 자기개명 에이전트의 맹점

최근 LLM 에이전트 연구에서 “스킬(skill)“은 핵심 개념이 되었다. 스킬이란 에이전트에게 제공하는 재사용 가능한 Markdown 형식의 절차적 지식으로, 도구 사용법, 추론 전략, 휴리스틱을 담고 있는 파일 시스템 아티팩트다. EvoSkill, GEPA, SkillWeaver 같은 시스템들은 실행 궤적에서 실패를 분석하고 스킬 파일을 다시 작성하는 루프를 만들어, 에이전트가 경험을 통해 점점 나아지게 만든다.

하지만 이 시스템들에는 눈에 띄는 비대칭이 있다.

태스크 스킬(what the agent does)은 진화하지만, 개선 절차(how it improves)는 고정되어 있다.

이건 자가개선(self-improving)이지 재귀적 자가개선(recursively self-improving)이 아니다. 실패를 어떻게 진단할지, 어떤 편집을 제안할지, 검색 예산을 얼마나 할당할지 — 이 모든 것이 한 번 정해지면 모든 브랜치에서 동일하게 적용된다. 그래서 같은 진단 방식이 표 읽기 오류에도, 계산 실수에도 똑같이 적용되고, 그 진단이 틀렸을 때 루프 안에는 이를 교정할 메커니즘이 없다.

MetaSkill-Evolve의 핵심 아이디어

MetaSkill-Evolve는 개선 절차를 **브랜치 로컬 학습 객체(branch-local learnable object)**로 끌어올린다. 각 진화 브랜치는 태스크 스킬 s와 함께 메타 스킬 m = (ψ, σ, α, π, ε)를 가진다.

Figure 1: 에이전트 스킬 개선의 네 가지 체제. No-Skill부터 MetaSkill-Evolve까지의 진화를 보여준다. 출처: 논문 Figure 1.

다섯 가지 메타 스킬 컴포넌트가 각각 파이프라인의 한 단계를 매개변수화한다:

컴포넌트	역할	담당 에이전트
ψ (psi)	실패 진단 정책 — 실패 궤적을 태그 φ와 자유 형식 분석으로 매핑	Analyzer
σ (sigma)	공유 정책 — 태그 매칭으로 교차 브랜치 영감(inspiration)을 검색	Retriever
α (alpha)	할당 정책 — 반복당 자식 예산 K ∈ [1, K_max]를 적응적으로 설정	Allocator
π (pi)	편집 제안 정책 — 진단, 분석, 검색 결과를 조건으로 구체적 편집 δ를 생성	Proposer
ε (epsilon)	편집 실행 정책 — δ를 디스크에 쓰고 결과가 일관성 있는지 검증	Evolver

핵심 통찰은 이 다섯 가지 메타 스킬 파일이 태스크 스킬과 동일한 Markdown 형식이라는 점이다. 따라서 태스크 스킬 s를 개선하는 데 쓰이는 동일한 5-에이전트 파이프라인이 메타 스킬 m 자체를 개선하는 데 재귀적으로 적용될 수 있다.

두 개의 시간 스케일

메타 스킬을 매 반복마다 업데이트하면 태스크 스킬 진화를 노이즈하게 만드는 단일 예제 노이즈에 똑같이 노출된다. 그래서 MetaSkill-Evolve는 두 개의 시간 스케일을 도입한다:

빠른 루프(Fast Timescale): 매 반복마다 태스크 스킬 s를 진화시킨다. 검증 배치에서 최악의 실패 케이스를 찾고, 5-에이전트 파이프라인이 편집을 제안·실행한다.
느린 루프(Slow Timescale): H번의 빠른 반복마다 메타 스킬 m을 진화시킨다. 최근 H개 자식의 개선 이력을 “메타 실패 궤적(meta-failure trace)“으로 재구성해, 같은 파이프라인이 메타 스킬 파일에 적용된다.

Figure 2: 시스템 개요. 브랜치 상태 b=(s, m, h)가 5-에이전트 파이프라인에 입력되고, 결과가 SQLite 노드 그래프에 추가된다. 개척(frontier) 선택이 그래프에서 다음 부모를 뽑는다. 출처: 논문 Figure 2.

메타 생산성(meta-productivity): 새로운 최적화 목표

단순히 태스크 정확도 U(s)만 최적화하면, 현재 점수는 높지만 자식의 품질이 떨어지는 브랜치를 걸러낼 수 없다. 논문은 메타 생산성 P(m|s) — “현재 개선 정책 m이 자식을 얼마나 더 나은 스킬로 만드는가” — 를 두 번째 목표로 도입한다:

$P (m ∣ s) = E [\frac{1}{K} \sum_{k = 1}^{K} (U (s_{k}^{'}) - U (s))]$

그리고 개척(frontier) 선택은 세 가지를 결합한다:

$v^{*} = ar g max_{v \in F} [η_{1} U_{v} + η_{2} \hat{P}_{v} + η_{3} N_{v}]$

U_v (활용): 약한 부모에서 불안정한 이득을 쫓는 것을 방지
P̂_v (궤적 품질): 정체된 고점에서 여전히 유용한 자식을 만드는 노드로 노력을 재분배
N_v (방문 냉각): 같은 노드가 예산을 독점하는 것을 방지

진화 그래프: SQLite에 영속되는 DAG

전체 검색 이력은 SQLite에 DAG(방향성 비순환 그래프)로 영속된다. 각 노드는 하나의 평가된 브랜치 상태이고, 부모보다 엄격히 개선된 자식(ΔU > 0)만 아카이브(미래 부모 후보)에 들어간다. 중립이나 퇴보 자식은 부모 후보에서는 제외되지만, 그래프에서 삭제되지는 않아 Retriever가 참고할 수 있다.

이 방식은 고정 크기 빔 서치와 달리 이전에 우선순위가 낮았던 계통을 다시 방문할 수 있고, 교차 브랜치 검색을 지원하며, 모든 노드의 출처(provenance)를 보존한다.

느린 루프의 세 가지 설계 디테일

느린 루프는 빠른 루프와 단순히 같은 파이프라인을 재사용하는 것이 아니다. 세 가지 차이가 있다:

제약된 Analyzer: 메타 진단이 null이거나 태스크 스킬 진단으로 빠지면, {ψ, σ, α, π, ε}에 대해 라운드 로빈 폴백을 수행한다. 느린 루프가 유용하지 않은 대상에서 중단되지도, 빠른 루프의 중복으로 전락하지도 않는다.
전체 m 재작성: 각 자식은 5개 메타 스킬 파일 전체를 한 번에 편집한다(Proposer는 순차, Evolver는 병렬). 예를 들어 π 편집이 더 세분된 태그 어휘를 가정한다면, 매칭되는 ψ 편집이 함께 적용되어 컴포넌트 간 일관성이 유지된다.
누적 자식: 자식 k+1은 부모가 아니라 자식 k가 디스크에 쓴 파일에서 시작한다. 이 “움직이는 타깃”이 K_m개의 독립적 덮어쓰기가 아니라 점진적 정제를 이끈다.

실험 결과

메인 결과

세 가지 에이전트 벤치마크에서 평가했다:

OfficeQA: 사무 환경 다단계 질의응답
SealQA: 밀봉된 환경에서의 추론 기반 QA
ALFWorld: 텍스트 기반 상호작용 환경에서의 장기 과제

모든 구성에서 동일한 Gemma-4 31B 백본을 사용했으며, 5개 파이프라인 에이전트 전부 이 하나의 모델을 공유한다.

Table 1: 메인 결과. OfficeQA, SealQA, ALFWorld에서의 홀드아웃 테스트 정확도(%). No-Skill → Static → Single-Level → MetaSkill-Evolve 순서로 모든 QA 벤치마크에서 단조 증가한다. 출처: 논문 Table 1.

구성	OfficeQA	SealQA	ALFWorld
No-Skill	31.78	29.17	92.31
Static Skill	36.09 (+4.31)	29.41 (+0.24)	90.38 (−1.93)
Single-Level Evolution	48.94 (+17.16)	37.21 (+8.04)	92.31 (0)
MetaSkill-Evolve	55.32 (+23.54)	45.26 (+16.09)	94.23 (+1.92)

두 QA 벤치마크에서 No-Skill → Static → Single-Level → MetaSkill-Evolve의 단조 증가가 명확하다. ALFWorld는 백본이 이미 92.31%로 거의 천장에 가까워서 개선 여지가 적지만, 느린 루프만이 유의미한 +1.92점을 추가한다.

컴포넌트 제거 실험 (Ablation)

Figure 4: 컴포넌트 제거 실험 Figure 4: 컴포넌트별 제거 실험. 파란 다각형은 메타 스킬 컴포넌트 하나를 제거했을 때의 정확도. 출처: 논문 Figure 4.

주요 발견:

모든 컴포넌트가 기여한다: 단일 컴포넌트 제거로 전체 시스템과 매치되는 구성은 없었다.
도메인마다 핵심 컴포넌트가 다르다: OfficeQA에서는 할당 정책 α가 가장 중요하다 (−19.7점). 관련 산술 오류 클러스터에서 정체 후 자식 예산을 적응적으로 넓히는 것이 결정적이다. SealQA에서는 편집 제안 정책 π가 지배적이다 (−8.42점). 검색 범위보다 편집 내용이 더 중요한 도메인이다.
메타 업데이트 중단(no meta-updates): 느린 루프를 끄면 OfficeQA 48.94 → 여전히 Single-Level보다 높지만, SealQA에서는 37.21로 단일 수준 진화와 동일해진다.

메타 업데이트 주기 스윕

H ∈ {2, 4, 8}에 대해, 메타 업데이트 횟수를 3으로 고정하고 총 반복 수를 3H로 스케일링했다:

H=2가 모든 벤치마크에서 최적: 가장 반응적인 스케줄이 이긴다.
OfficeQA가 가장 민감하다: H=2에서 H=8로 가면 48.94 → 39.84 (−9.1점).
SealQA와 ALFWorld는 H=2~H=4 사이에서 거의 평탄하고, H=8에서만 미세 하락한다.

왜 중요한가

이 논문의 의의는 단순히 스킬 진화를 더 잘하게 만든 것이 아니다. “개선하는 방법” 자체를 개선 가능한 객체로 만드는 구조적 패턴을 보여준 것이다. 몇 가지 시사점:

재귀적 자기개선의 실용적 실현: Good(1965)와 Schmidhuber(2006)의 이론적 비전을, LLM 에이전트 맥락에서 증명 없이 실현한 사례다. 메타 스킬이 다시 자기 자신을 개선하는 무한 재귀가 아니라 “한 단계 유계(bounded) 재귀”지만, 이것만으로도 의미 있는 성능 향상을 얻는다.
메타 생산성 P(m|s)의 도입: “현재 점수가 높은가?”와 “이 브랜치의 개선 정책이 앞으로도 유용한 자식을 만들 것인가?”를 분리해서 최적화하는 프레임워크는, 검색 기반 적응 시스템 전반에 적용 가능하다.
브랜치 로컬 메타 정책: 글로벌 정책이 아니라 각 진화 계통마다 자체 메타 스킬을 가진다. 다른 계통의 탈출 전략이 메타 수준 검색을 통해 전파되지만, 공유 글로벌 상태는 없다.

한계

세 가지 큐레이션된 벤치마크에서만 평가되었다. 노이지한 피드백이 있는 실제 장기 과제로의 전이는 미검증이다.
5-에이전트 파이프라인 자체는 고정되어 있다: 역할이나 배선(wiring)은 진화하지 않는다.
메타 업데이트는 고정된 주기 H로 발화한다. 적응적 스케줄링은 미래 연구 과제.

더 실습해보고 싶은 분들께

에이전트 루프와 하네스 설계, 자기개명 시스템에 관심이 생겼다면 다음 두 가지를 추천한다:

『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스와 스킬 시스템을 실제로 만져보며 루프 엔지니어링 감각을 익힐 수 있다.
「모두를 위한 루프 엔지니어링」 — 자기개명 에이전트의 설계 원리부터 구현까지 체계적으로 배울 수 있다.

참고문헌: Zefeng Wang, Minxi Yan, Jinhe Bi, Sikuan Yan, Volker Tresp, Yunpu Ma. “MetaSkill-Evolve: Recursive Self-Improvement of LLM Agents via Two-Timescale Meta-Skill Evolution.” arXiv:2607.05297, 2026.

코난쌤 블로그

탐색기