개요
SkillHEX(Feng et al., 2026)는 희소 보상 환경에서 에이전트 스킬을 테스트 시간에 진화시키는 프레임워크입니다. 가설 기반 자기검증(Hypothesis-Driven Self-Verification)과 증거 기반 트리 탐색(Evidence-Guided Tree Search)을 결합하여, 제한된 시도 예산 내에서 기존 방법 대비 최대 9.5pp 높은 통과율을 달성했습니다.
논문: arXiv:2608.05628
배경 및 문제 정의
에이전트 스킬은 재사용 가능한 절차적 지식을 패키지화하는 구조입니다(Anthropic, 2025; Xu & Yan, 2026). 기존 스킬 진화 방법은 크게 두 가지 패러다임으로 나뉩니다:
- 텍스트 공간 최적화: 스킬 지시문을 매개변수로 취급하고 언어 모델 피드백으로 기울기를 계산 (TextGrad, GEPA 등)
- 경험 기반 접근: 실행 궤적에서 절차적 휴리스틱을 증류 (Trace2Skill, CoEvoSkills 등)
두 패러다임 모두 검증 데이터셋의 존재를 가정합니다. 실제 배포 환경에서는 이 가정이 성립하지 않습니다. 에이전트에게 주어지는 것은 이진 종료 보상 R ∈ {0, 1}뿐이며, 시도 횟수도 제한적입니다.
이러한 희소 보상 설정에서 기존 방법은 “착취 함정(exploitation trap)“에 취약합니다. 매 반복마다 현재 스킬에 대한 최선의 수정을 커밋하는 탐욕적 방식은, 초기 진단이 오류일 경우 이후 모든 시도를 낭비합니다.
Figure 1: SkillsBench에서 CoEvoSkills와 SkillRevise는 2-3회 반복 후 정체되는 반면, SkillHEX는 5회까지 지속적 개선을 보임.
방법론
가설 기반 자기검증
SkillHEX는 실패 시 다음 세 단계를 거칩니다:
- 가설 관리: 실행 궤적과 현재 스킬을 분석하여 검증 가능한 실패 원인 가설을 생성합니다. 가설은 Add/Refine/Refute 연산으로 동적 관리됩니다.
- 테스트 생성 및 검증: 각 가설에 대해 실행 가능한 테스트 케이스를 생성합니다. 테스트는 규칙 기반 검증기를 거쳐 구문 정확성과 실행 가능성을 보장합니다.
- 동적 증거 은행: 테스트 결과를 증거 행렬 M으로 누적합니다. M[v,j]는 스킬 버전 v의 출력에 대해 테스트 j를 실행한 결과입니다. 추가 환경 호출 없이 캐시된 출력에 대해 테스트를 재실행하므로, 시도 예산을 소비하지 않으면서 밀집 진단 신호를 생성합니다.
증거 기반 트리 탐색
스킬 수정을 트리 구조로 관리합니다:
- 각 노드는 스킬 버전 S_v를 저장하고, 캐시된 출력 Y_v와 보상 R_v를 보관합니다.
- PUCT 방식으로 노드를 선택하며, 증거가 지지하는 수정(exploitation)과 미탐색 대안(exploration) 사이의 균형을 유지합니다.
- 한 경로가 실패해도 트리에 보존된 다른 후보로 회귀할 수 있습니다. 이는 기존 in-place 방식과의 구조적 차이입니다.
실험 결과
SkillsBench 87개 작업, 반복 예산 5회 기준:
| 방법 | GPT-5.3-Codex | Claude Opus 4.7 |
|---|---|---|
| No Skill | 34.2% | 38.1% |
| Human Skill | 43.0% | 44.3% |
| SkillRevise | 44.8% | 47.2% |
| CoEvoSkills | 46.4% | 49.4% |
| SkillHEX | 55.9% | 57.9% |
토큰 효율성: SkillHEX는 CoEvoSkills 대비 18.0% 적은 토큰을 사용하면서 더 높은 통과율을 기록했습니다. 트리 탐색이 in-place 수정보다 토큰을 더 절약하는 것으로 나타났습니다.
초기 스킬의 영향
초기 스킬 없이 시작해도 LLM 생성 스킬로 시작한 것과 유사한 성능을 달성했습니다. Human-curated 스킬로 시작하면 가장 높은 성능을 기록했습니다.
케이스 스터디: 전력 시장 가격 책정
MATPOWER 기반 DC 최적 전력 문제에서 SkillHEX의 탐색 궤적을 분석했습니다. 첫 번째 가설(“LMP 듀얼 스케일링 오류”)을 따라 3회 수정(V1→V3→V5)을 시도했으나 공식 검증이 실패했습니다. SkillHEX는 트리에 보존된 대안(V2)으로 회귀한 후, MATPOWER 데이터 의미론 수정을 적용하여 마지막 시도에서 성공했습니다. In-place 방식에서는 불가능한 회복 경로입니다.
한계
지식 집약적 도메인(자연과학, 금융)에서는 실행 궤적만으로 메꿀 수 없는 사실적 지식 결손이 존재합니다. 가설 검증으로 해결 가능한 것은 절차적 정밀도이지 지식 획득이 아닙니다.
결론
SkillHEX는 희소 보상 하에서 스킬을 진화시키는 두 가지 구조적 기여를 제시합니다: (1) 추가 환경 호출 없이 밀집 진단 신호를 생성하는 가설 기반 자기검증, (2) 되돌아갈 수 있는 수정 트리를 통한 회복 가능한 탐색. 두 컴포넌트는 상호 보완적으로 작동하여 기존 방법의 정체 구간을 극복합니다.
더 실습해보고 싶은 분들께
에이전트 스킬 진화, 하네스 최적화, 루프 엔지니어링에 관심이 있다면 두 자료를 추천합니다.
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스와 스킬 루프를 실무에서 쓰는 50가지 사례
- 「모두를 위한 루프 엔지니어링」 — 스킬 최적화부터 자가진화 루프까지, 에이전트를 직접 설계하고 운영하는 방법