에이전트 안전은 콘텐츠 필터링에서 운영 안전으로
AI 에이전트가 코드를 수정하고, 파일에 접근하고, 외부 시스템과 상호작용하면서 에이전트의 실패는 더 이상 텍스트 수준의 문제가 아니라 운영 문제가 되었다. 한 번의 안전하지 않은 행동이 파일을 삭제하고, 개인정보를 유출하고, 환경을 망가뜨릴 수 있다. 실행 후에 감지하는 것은 너무 늦다.
JANUS(Yuan Xiong, Linji Hao, Shizhu He, Yequan Wang, Lijun Li, 2026)는 이 문제에 대한 새로운 접근을 제시한다: 위험한 행동이 실행되기 전에 궤적의 일부만 보고도 미래 위험을 예측해 차단하는 것이다.
Figure 1: (a) 반응형 가드는 안전하지 않은 행동이 발생한 뒤에야 감지한다. (b) 예측형 가드는 궤적 접두사에서 위험을 예측해 실행 전에 차단한다.
핵심 문제: 지연된 결과와 조기 신호
에이전트 안전의 핵심 난제는 위험한 행동이 궤적의 후반부에야 등장하지만, 그것을 좌우하는 제약 조건은 훨씬 일찍 나타난다는 점이다.
예를 들어 사용자가 “모든 패키지 변경은 가상 환경 내에서만”이라고 요구했지만, 에이전트가 궤적 후반부에서 글로벌 Python 환경을 수정하면 시스템 의존성이 깨진다. 위험한 행동은 늦게 나타나지만, 제약 조건은 훨씬 일찍 확인 가능하다. 장기 궤적(long-horizon trajectory)에서 이런 연결을 파악하는 것이 JANUS의 핵심 목표다.
JANUS 프레임워크 구조
JANUS는 두 단계로 구성된다:
1. 시뮬레이션 기반 궤적 합성
Figure 2: (a) 위험 분류: 사용자·환경·에이전트 기원 위험. (b) 시나리오 구성: Manager가 전문 에이전트에 지시. (c) 궤적 합성: Executor와 Simulator가 롤아웃. (d) 데이터 분포.
위험을 세 가지 기원으로 분류한다:
- 사용자 기원(User-originated): 사용자 지시 자체에 유해 목표가 포함된 경우 (사이버 남용, 사기, 혐오 등)
- 환경 기원(Environment-originated): 도구 출력, 검색 결과, 이메일 등 외부 산출물에 위험 목표가 숨어 있는 경우 (간접 프롬프트 주입, 도구 조종, 데이터 유출 등)
- 에이전트 기원(Agent-originated): 악의 없이도 모호한 지시를 잘못 해석해 안전하지 않은 행동을 하는 경우 (잠재 의존성 간과, 문맥 무시, 잘못된 가정 등)
Manager, Instructor, ToolDesigner, Grader, EnvInjector 등 다중 에이전트가 협력해 시나리오를 구성하고, Executor와 Simulator가 ReAct 스타일로 궤적을 생성한다. Reviewer가 품질 검증을 수행해 일관성·위험 커버리지·완전성을 만족하는 샘플만 남긴다. 이 과정에서 75,180개 훈련 예시(Safe 34,100 / Unsafe 18,665 / Potential Unsafe 22,415)를 생성했다.
2. CoAA-RL: 결합된 예측-판단 강화학습
Figure 3: (a) 예측 태스크: 부분 궤적에서 미래 요약 샘플링. (b) 판단 태스크: 미래 요약으로 안전 라벨 예측. (c) 결합 보상 및 최적화. (d) 추론: 학습된 가드 모델이 안전 라벨과 근거를 출력.
CoAA-RL(Coupled Anticipation and Adjudication RL)은 하나의 정책 πθ를 두 태스크로 훈련한다:
- 예측 태스크(Anticipation): 부분 궤적 (x, τ_pre)에서 안전 관련 미래 요약 S_k를 샘플링
- 판단 태스크(Adjudication): 예측된 미래 요약을 조건으로 안전 상태를 판단
핵심 혁신은 결합 보상 설계다. 예측 보상은 미래-궤적 일관성(Sim)과 판단 효용(u_k)의 가중 합으로 구성된다:
r^A = (1 - λ_A) · Sim(S_k, s) + λ_A · u_k
즉, 미래 요약이 단순히 실제 미래와 비슷한 것만으로는 충분하지 않다. 그것이 실제 판단에 도움이 되어야 보상을 받는다. λ_A = 0.5에서 가장 균형 잡힌 결과를 얻었다.
실험 결과: 4개 벤치마크에서 일관된 개선
Vanguard(JANUS가 학습시킨 가드 모델)를 4개 에이전트 안전 벤치마크에서 평가했다:
| 지표 | No Guard | Guard Baselines 평균 | Vanguard |
|---|---|---|---|
| 평균 ASR (↓) | 0.397 | 0.230 | 0.071 |
| AgentDojo Utility (↑) | 0.680 | 0.629 | 0.680 |
세부 벤치마크별 ASR (낮을수록 좋음):
- AgentDojo: 0.054 (가장 강력한 단계별 모델 대비 0.066 → 0.054)
- Agent-SafetyBench: 0.068 (vs 기준 최저 0.102)
- AgentLAB: 0.087 (vs 기준 최저 0.122)
- LPS-Bench: 0.075 (vs 기준 최저 0.323 — 가장 극적인 개선)
LPS-Bench에서의 압도적 개선(0.323 → 0.075)은 장기 계획 안전에서 지연된 결과를 예측하는 것의 중요성을 보여준다.
불재(ablation) 분석: 예측이 판단을 더 안전하게 만드는가?
Table 2: 세 가지 대표 벤치마크에서 불재 실험 결과. †Oracle은 실제 미래 궤적을 사용하는 비배포 상한.
핵심 발견:
- 예측 제거(wo Anticipation): 평균 ASR이 0.072 → 0.148로 악화, AgentDojo 유틸리티도 0.680 → 0.526으로 하락
- 추론 시 미래 요약 제거: 평균 ASR 0.123, 유틸리티 0.557로退化
- Oracle 미래 요약 사용: 평균 ASR 0.052 — 정확한 미래 정보가 판단을 크게 개선
- 결합 보상이 필수: 유사도만 사용하면 유틸리티 48.4% 감소, 효용만 사용하면 42.4% 감소
Figure 4: λ_A = 0.5에서 최적의 안전-유틸리티 균형 달성. λ_A = 0.75는 가장 낮은 ASR이지만 유틸리티 감소.
조기 위험 예측: 25% 접두사만으로도 가능
가장 인상적인 결과는 궤적의 25%만 관찰해도 위험 예측이 가능하다는 점이다. 25% 접두사에서 Vanguard는 AgentDojo와 AgentLAB에서 이미 가장 낮은 ASR을 기록했다. 50%부터는 세 벤치마크 모두에서 최저 ASR을 달성했다.
| 관측 비율 | AgentDojo ASR | AgentLAB ASR | LPS-Bench ASR |
|---|---|---|---|
| 25% | 0.280 (평균) | — | — |
| 50% | 0.174 | — | — |
| 75% | 0.121 | — | — |
| 100% | 0.072 | — | — |
이는 위험한 행동이 실제로 실행되기 훨씬 전에 개입할 수 있음을 시사한다.
에이전트 안전 설계에 주는 시사점
JANUS가 던지는 메시지는 명확하다:
- 반응형 가드레일로는 충분하지 않다. 행동이 실행된 뒤에 감지하면 이미 늦다.
- 미래 예측과 판단을 결합해야 한다. 단순한 미래 시뮬레이션이 아니라, 판단에 유용한 미래를 예측해야 한다.
- GRPO 기반 결합 보상이 효과적이다. 예측 정확도와 판단 효용을 균형 있게 최적화하는 것이 핵심이다.
- 시뮬레이션 데이터가 실제 배포 환경을 완전히 대체할 수는 없다. 이는 논문이 인정하는 한계점이다.
에이전트가 하네스(harness)를 통해 도구를 호출하고 루프(loop) 안에서 행동하는 현재의 아키텍처에서, 실행 전 개입점을 가지는 예측 가드레일은 점점 필수적인 계층이 될 것이다.
더 실습해보고 싶은 분들께
에이전트 루프와 하네스 설계, 도구 사용 자동화에 관심이 있다면 다음 두 자료를 추천한다:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스와 자동화 루프를 실전에서 설계하고 운영하는 방법을 다룬 실습 가이드
- 「모두를 위한 루프 엔지니어링」 — 에이전트 루프의 안전성, 컨텍스트 관리, 도구 호출 제어를 체계적으로 배우는 강의
참고문헌: Yuan Xiong, Linji Hao, Shizhu He, Yequan Wang, Lijun Li. “JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety.” arXiv:2607.19913, 2026. Paper · Code