EvoSOP: 원자적 행동을 표준 작업 절차로 조립하는 자가진화 LLM 에이전트

논문: From Atomic Actions to Standard Operating Procedures: Iterative Tool Optimization for Self-Evolving LLM Agents 저자: Haipeng Ding, Yuexiang Xie, Zhewei Wei, Yaliang Li, Bolin Ding (인민대학교 · 알리바바 그룹) 발표일: 2026년 7월 8일

핵심 요약

LLM 에이전트가 복잡한 작업을 수행할 때, 대부분의 프레임워크는 파일 읽기, 검색, API 호출 같은 원자적 행동(atomic action) 단위의 도구만 제공한다. 에이전트는 매번 이 저수준 도구들을 조합해 같은 워크플로우를 처음부터 다시 구성해야 한다. 이는 추상화가 부족해 추론 오버헤드가 증가하고 장기 작업에서 오류가 누적되는 원인이 된다.

EvoSOP는 에이전트가 실행 궤적(trajectory)에서 반복적으로 등장하는 도구 사용 패턴을 추출해, 이를 재사용 가능한 **SOP(Standard Operating Procedure)**라는 고차원 도구로 압축한다. 그리고 Constructor–Merger–Evaluator–Reviewer의 4단계 라이프사이클을 반복하면서 도구셋을 지속적으로 최적화한다.

EvoSOP 전체 아키텍처: Constructor가 궤적에서 SOP를 추출하고, Merger가 중복을 통합하며, Evaluator가 실제 환경에서 성능을 검증하고, Reviewer가 저성능 SOP를 가지치기한다

문제 정의: 왜 원자적 행동만으로는 부족한가

기존 도구 증강 에이전트의 한계를 저자는 세 가지로 정리한다:

신뢰할 수 없는 도구 실행 가능성: LLM이 코드를 생성해 도구를 만들더라도, 복잡한 환경에서는 다양한 엔지니어링 이유로 실패한다. 체계적인 평가와 정제가 없으면 장기 작업에서 신뢰할 수 없다.
제한된 일반화와 재사용성: 좁은 시나리오에서 파생된 도구는 문맥 의존적 로직을 포함하기 쉬워, 다른 작업에 적용하기 어렵다.
도구셋 중복과 비대화: 도구를 계속 추가만 하고 관리 메커니즘이 없으면, 도구셋이 비대해져 에이전트의 의사결정에 노이즈가 생긴다.

이것은 인간이 문제를 해결하는 방식과 대조된다. 인간은 반복되는 하위 작업을 **SOP(표준 작업 절차)**로 추상화해, 매번 저수준 논리를 재구성하는 부담을 줄인다. EvoSOP는 바로 이 추상화를 에이전트에 도입한다.

EvoSOP 프레임워크

설계 원칙: 비모수적 자가진화

EvoSOP는 LLM의 가중치를 업데이트하지 않는다. 대신, 실행 궤적을 분석해 도구셋 자체를 반복적으로 최적화하는 비모수적 구조 최적화 접근을 취한다. 저자는 이를 머신러닝 파이프라인에 비유한다:

데이터 수집 = 학습 작업과의 상호작용
순방향 전파 = 현재 도구셋으로 작업 실행
역방향 전파 = 궤적 분석 → SOP 추출 (기울기 대신 “기호적 역전파”)
정규화 = 중복 제거(Merger)와 가지치기(Reviewer)

4단계 도구 최적화 라이프사이클

1. Constructor (구축자): 실행 궤적에서 빈번하게 공동 출현하는 도구 호출 시퀀스를 식별한다. 단순한 선형 매크로가 아니라, 조건 분기나 에러 처리를 포함한 경량 로직을 담은 호출 가능한 함수로 재작성한다. 예를 들어 “메시지 전송 → 실패 시 최신 메시지 ID 조회 → 삭제 → 재전송”이라는 4단계 SOP가 하나의 도구로 캡슐화된다.

2. Merger (병합자): 새로 생성된 SOP 간의 기능적 중복을 검사하고, 겹치는 루틴을 더 일반적인 단일 SOP로 통합한다. 단, 기존 SOP를 즉시 제거하지 않고 성능 검증 단계로 넘기는 보수적 전략을 취한다. 이는 구현 품질 차이를 실험적으로 확인하기 위해서다.

3. Evaluator (평가자): 업데이트된 도구셋으로 작업를 다시 실행한다. 이 단계에서 SOP의 실제 유용성과 신뢰성이 환경 피드백을 통해 검증된다.

4. Reviewer (검토자): 각 SOP의 성능 지표를 분석해 에러율이 높거나 기존 도구와 중복되는 것을 가지치기(pruning)한다.

이 4단계 사이클을 반복하면서, 도구셋은 점차 안정적인 최적 상태로 수렴한다.

에포크에 따른 평균 추론 라운드 수 변화. EvoSOP가 적용될수록 작업 완료에 필요한 상호작용 라운드가 감소한다

실험 결과

벤치마크 성능

ACEBench(도구 사용 벤치마크)와 Tau2Bench(대화형 에이전트 벤치마크)에서 평가했다. 기본선으로 ReAct와 DFSDT를 사용했고, 기존 도구 최적화 방법인 ASI와 DRAFT와 비교했다.

GPT-4o를 기반 에이전트로 사용하고, EvoSOP 핵심 알고리즘에는 GPT-4o, Gemini-3-Flash-Preview, Qwen-Max 세 가지 모델을 테스트해 모델 무관성을 검증했다.

결과를 요약하면:

작업 성공률: 모든 백본 모델에서 기본선 대비 유의미한 향상. 특히 ACEBench의 Agent-Multi-Step과 Agent-Multi-Turn 서브셋에서 두드러진 개선
상호작용 라운드 수: 동일한 작업을 완료하는 데 필요한 추론 라운드가 크게 감소. SOP가 고차원 도구로 작동해 한 번의 호출로 여러 단계가 처리되기 때문
모델 무관성: GPT-4o, Gemini, Qwen 모두에서 일관된 개선 효과

EvoSOP와 절제 변형(ablated variants)의 성능 비교. Constructor, Merger, Evaluator, Reviewer 각각의 기여도를 확인할 수 있다

절제 연구

각 모듈의 기여를 확인하기 위해 하나씩 제거한 변형을 테스트했다:

Constructor 제거: SOP 생성 없이 원자적 도구만 사용 → 성공률 급감
Merger 제거: 중복 SOP가 누적되어 도구셋 비대화 → 성능 저하
Reviewer 제거: 저성능 SOP가 방치되어 노이즈 증가 → 점진적 성능 저하

도구셋 수렴 패턴

합성된 SOP의 수명 주기. 초기에는 빠르게 확장되다가, Merger와 Reviewer에 의해 점차 안정화되어 도구셋 크기가 10개 이하로 수렴한다

초기 에포크(1~5)에서는 Constructor가 다양한 패턴을 탐색하며 도구셋이 빠르게 확장된다. 하지만 최적화 루프가 진행되면서 성장 곡선이 평탄해지고, 새로운 SOP는 기존 것보다 유의미한 성능 이점이 있을 때만 추가되는 동적 평형 상태에 도달한다. 전형적으로 10개 이하의 SOP로 ~80% 성공률을 달성하며, 이는 전통적 최적화에서 학습률이 감소하며 수렴하는 현상과 유사하다.

학습 에포크에 따른 생성, 활용, 유지되는 SOP 수의 추세

SOP 예시: 실제로 무엇이 만들어지나

논문 부록에 제시된 실제 SOP 코드를 보면, “메시지 전송 워크플로우”가 하나의 함수로 캡슐화되어 있다:

def send_message_workflow(self, message, receiver_name, sender_name):
    # 1단계: 메시지 전송 시도
    send_result = self.send_message(message, receiver_name, sender_name)
    
    if not send_result['status']:
        # 2단계: 실패 시 최신 메시지 ID 조회
        latest_id = self.get_latest_message_id()['message_id']
        # 3단계: 기존 메시지 삭제
        self.delete_message(message_id=latest_id)
        # 4단계: 재전송
        send_result = self.send_message(message, receiver_name, sender_name)
    
    return {"status": send_result['status'], "content": send_result}

이것은 단순한 매크로가 아니라, 에러 처리와 재시도 로직을 포함한 분기 제어 메커니즘을 내장한 함수다. 에이전트는 이제 send_message_workflow 하나를 호출하는 것으로 4단계의 원자적 행동과 조건 분기를 한 번에 처리할 수 있다.

기존 연구와의 차이

방법	접근	한계
ReAct	원자적 도구만 사용	매번 저수준 로직 재구성
ASI	1회성 고차원 도구 생성	지속적 관리 부재
DRAFT	도구 docstring 최적화	도구 자체의 구조 개선 없음
EvoSOP	반복적 도구 최적화 라이프사이클	도구셋 비대화 방지 + 수렴

EvoSOP의 핵심 차별점은 도구 생성을 1회성 이벤트가 아닌 지속적 최적화 과정으로 프레이밍한 것이다. Constructor가 만들고, Merger가 정제하고, Evaluator가 검증하고, Reviewer가 가지치기하는 닫힌 루프가 도구셋을 항상 간결하면서도 강력한 상태로 유지한다.

시사점

이 연구는 에이전트 자가진화의 새로운 방향을 제시한다. 모델 가중치를 변경하지 않으면서도, 도구셋이라는 외부 구조를 최적화함으로써 에이전트 성능을 향상시킬 수 있다는 점이 흥미롭다. 이는 모델 자체의 능력보다 하네스(포장) 설계가 에이전트 성능에 미치는 영향이 크다는 최근 연구 흐름과 일치한다.

특히 실무적인 관점에서 주목할 만하다. 에이전트를 운영하는 입장에서는, 모델을 교체하지 않고도 반복되는 작업 패턴을 SOP로 추출해 도구셋을 개선할 수 있다면, 비용과 지연 시간을 크게 줄일 수 있다. 도구 호출 수가 줄어들면 토큰 소비도 감소하고, 중간 단계에서 오류가 발생할 확률도 낮아진다.

더 실습해보고 싶은 분들께

에이전트 하네스 설계와 도구 최적화, 컨텍스트 관리 같은 실전 주제를 더 깊이 다루고 싶다면 다음 자료를 추천한다:

『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 자동화와 도구 사용 패턴을 실습 관점에서 풀어낸 가이드
「모두를 위한 루프 엔지니어링」 — 에이전트 루프 설계와 컨텍스트 관리의 원리를 체계적으로 배우는 강의

결론

EvoSOP는 “원자적 행동 → 표준 작업 절차”라는 추상화 계층을 에이전트에 추가함으로써, 자가진화하는 에이전트를 향한 확장 가능한 경로를 제시한다. 4단계 최적화 라이프사이클(Construction → Merge → Evaluation → Review)은 도구셋이 비대해지는 것을 방지하고, 일반적이고 신뢰할 수 있는 도구 사용 패턴만 남도록 정제한다. 모델 가중치를 변경하지 않는 비모수적 접근이라 기존 에이전트 시스템에 통합하기 쉽다는 점도 실용적 장점이다.

인간이 반복 업무를 SOP로 표준화해 효율을 높이는 것처럼, LLM 에이전트도 자신의 실행 경험에서 패턴을 발견해 도구를 스스로 진화시킬 수 있다. 이 방향이 상용 에이전트 시스템에서 어떤 효과를 보일지 기대된다.

코난쌤 블로그

탐색기