핵심 요약
LLM 에이전트 시스템이 실패했을 때, 수십수백 개의 스텝 중 어떤 스텝이 실패를 초래했는지 자동으로 찾는 문제를 다룹니다. 기존 방식은 GPT-5 같은 프론티어 모델을 프롬프팅하거나 실패 궤적에 대한 단계별 라벨링이 필요했습니다. OAT(One-class Agent Tracing)는 성공한 궤적 100개만 학습해서, 실패 궤적의 오류 스텝을 식별합니다. GPT-5 프롬프팅보다 +20% F1 향상, **2005000배 빠른 속도**, 토큰 비용 제로를 달성했습니다.
저자: Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li (Wisconsin-Madison & Microsoft Research) arXiv: 2607.12747
문제 정의: 비지도 실패 귀인(Unsupervised Failure Attribution)
LLM 에이전트가 복잡한 작업을 수행할 때 한 번의 실행에 수백 개의 액션이 직렬로 실행됩니다. 중간에 하나의 잘못된 스텝이 최종 실패를 초래할 수 있지만, 이를 수동으로 찾는 것은 몇 시간이 걸릴 수 있습니다.
기존 접근법의 한계:
- 프롬프팅 기반: GPT-5 등 프론티어 LLM에 전체 궤적을 입력해 오류 스텝을 식별 → 느리고 비쌈 (평균 39초 소요)
- 지도 학습 기반: 실패 궤적에 단계별 에러 라벨이 필요 → 라벨링 비용이 크고 모호함
OAT가 제안하는 비지도 실패 귀인은:
- 학습 시 성공한 궤적만 사용 (실패 데이터, 단계별 라벨 불필요)
- 추론 시 실패 궤적의 각 스텝에 이상 점수(anomaly score)를 부여
- 정상 패턴에서 벗어나는 스텝을 실패 기여 스텝으로 식별
방법론: Neural CDE 기반 원클래스 학습
핵심 아이디어
OAT는 각 스텝을 LLM의 은닉 표현(latent representation)으로 인코딩한 뒤, Neural Controlled Differential Equations(CDE) 로 성공 궤적의 연속적 동역학을 학습합니다.
Figure 1: OAT 전체 구조. Neural CDE가 성공 궤적의 은닉 경로(hidden path)를 모델링하고, 추론 시 실패 궤적의 기대 경로를 예측하여 실제 표현과의 거리로 이상 점수를 계산한다.
왜 Neural CDE인가?
에이전트의 행동은 본질적으로 연속적 동역학 과정입니다. 각 액션이 다음 상태를 형성하고, 상태가 다음 액션을 유도합니다. 이산적 모델(RNN, Transformer)은 스텝 간 연속성을 포착하지 못합니다.
Neural CDE는:
- 스텝 간 연속적 잠재 경로를 모델링 (cubic spline 보간)
- 제어 경로(control path)가 모든 적분 스텝에서 관측치를 주입 → 국소적 편차에 민감
- 가변 길이, 불규칙한 에이전트 궤적에 자연스럽게 대응
게이트 제어 경로(Gated Control Path): OAT의 핵심 혁신 중 하나로, 학습 도메인과 다른 분포의 궤적(OOD)이 들어올 때 스플라인 미분값이 비정상적으로 커지는 것을 적응적으로 억제합니다. 이를 통해 OOD 설정에서 AUROC가 +0.172 향상되었습니다.
Figure 5: Neural CDE가 RNN 기반 접근법보다 모든 메트릭에서 일관되게 우수한 성능을 보인다. 연속 시간 모델링이 궤적 동역학 포착에 유리하다.
이상 스텝 검출
추론 시 실패 궤적의 각 스텝 t에 대해 재구성 오차를 이상 점수로 계산:
e_t = ‖h_t’ − ĥ(u_t)‖²
두 가지 검출 전략:
- Top-k: 가장 높은 이상 점수를 가진 k개 스텝 선택 (높은 recall)
- Conformal Prediction(CP): 보정 세트에서 분포-프리 임계값 설정 (높은 precision, 적응적)
실험 결과
In-Domain 평가 (MCP-Atlas)
MCP-Atlas 벤치마크에서 Qwen3.5-27B로 생성한 88개 실패 궤적으로 평가:
| 방법 | Precision | Recall | F1 | Hit Rate |
|---|---|---|---|---|
| Random | 0.284 | 0.246 | 0.255 | 0.284 |
| GPT-4o | 0.233 | 0.210 | 0.212 | 0.250 |
| GPT-5 | 0.217 | 0.183 | 0.181 | 0.250 |
| OAT (Top-k) | 0.321 | 0.706 | 0.420 | 0.777 |
| OAT (CP) | 0.443 | 0.484 | 0.435 | 0.566 |
OAT는 GPT-5 프롬프팅 대비 +20% F1 향상, +10% AUPRC 향상을 달성했습니다.
OOD 평가 (Who&When)
MCP-Atlas로 학습하고 완전히 다른 벤치마크(Who&When, GPT-4o 생성, 멀티에이전트)에서 평가:
| 방법 | Precision | Recall | F1 | AUROC |
|---|---|---|---|---|
| GPT-5 | 0.111 | 0.275 | 0.152 | 0.584 |
| OAT (CP) | 0.184 | 0.330 | 0.211 | 0.758 |
완전히 다른 도메인에서도 +7% F1, +17% AUROC 향상을 보이며 강력한 일반화 능력을 입증했습니다.
계산 효율성
| 방법 | 토큰 수 | 지연 시간 |
|---|---|---|
| GPT-4o | 121 | 4,241ms |
| GPT-5 | 3,012 | 39,626ms |
| OAT | 0 | 7ms |
OAT는 토큰 비용 0, 7ms 지연으로 GPT-5 대비 5,661배 빠릅니다. VRAM 1GB 미만으로 로컬 배포 가능합니다.
분석: 왜 효과적인가?
Figure 6: Qwen3.5-27B의 후기 레이어 표현이 초기 레이어보다 일관되게 우수한 오류 검출 성능을 보인다. 추상적·의미론적 정보가 풍부한 후기 레이어가 정상/이상 스텝 구분에 더 유리하다.
핵심 통찰:
- 성공 궤적의 풍부한 신호: LLM 은닉 표현은 생성 텍스트 이상의 정보를 담고 있음
- 연속 시간 모델링: Neural CDE가 이산 모델(RNN)보다 궤적 동역학을 더 정확히 포착
- 게이트 제어 경로: OOD robustness를 크게 향상시키는 단순하지만 효과적인 설계
- 실용성: 100개 성공 궤적만으로 학습, 프론티어 LLM 불필요
의의와 시사점
OAT는 에이전트 진단(diagnostics) 패러다임의 전환을 제안합니다:
- 라벨링 병목 해결: 성공 궤적은 정상 운영의 부산물로 쉽게 수집 가능
- 실시간 진단 가능: 7ms 추론으로 프로덕션 환경에서 실시간 모니터링 적용 가능
- 일반화 능력: 다른 모델(GPT-4o), 다른 설정(멀티에이전트)에서도 효과적
- 확장 가능성: Neural SDE, attention 메커니즘 등 NDE 확장으로 더 정교한 모델링 가능
에이전트 시스템이 고위험 환경(소프트웨어 엔지니어링, 과학 연구)에 배포됨에 따라, OAT 같은 자동 진단 도구는 디버깅과 감사를 위한 필수 인프라가 될 것입니다.
코드 및 데이터: anonymous.4open.science/r/OAT-183C