논문: Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming 저자: Yong Yang, Xing Zheng, Huiyu Wu, Huangsheng Cheng, Xiaorong Shi, Jing Guo, Bo Yang, Yi Zhou, Xiangfan Wu, Zonghao Ying 소속: Tencent Zhuque Lab 오픈소스: github.com/Tencent/AI-Infra-Guard
핵심 요약
AI 인프라가 폭발적으로 확산하면서 — Ollama, vLLM, Dify, LangFlow, ComfyUI, MCP 서버까지 — 보안 도구는 뒤처지고 있다. 기존 웹 취약점 스캐너는 AI 컴포넌트를 카탈로그에 등록하지 않았고, 버전 비교 로직은 AI 프로젝트의 비정규 버전(b7824, 2.3.dev, latest 태그)을 처리하지 못하며, 위협 모델 자체가 달라졌다.
Tencent Zhuque Lab의 **AI-Infra-Guard(A.I.G)**는 하나의 관찰에서 출발한다:
AI 에이전트의 공격 표면은 계층(stratum)별로 분리되어 있으며, 각 계층에 최적화된 검증 패러다임을 매칭해야 한다.
4개 레이어, 4개의 검증 방법론을 단일 프레임워크로 통합한 설계 철학과 구현을 분석한다.
프레임워크 규모
| 레이어 | 검증 패러다임 | 커버리지 |
|---|---|---|
| 인프라 | 결정론적 규칙 매칭 | 75+ AI 컴포넌트, 1,400+ 취약점 규칙 |
| 프로토콜/도구 | LLM 기반 에이전트 감사 | MCP 서버 정적·동적 감사, 스킬 패키지 공급망 |
| 에이전트 동작 | 다중턴 블랙박스 레드팀 | 4개 위험 패밀리, 에스컬레이션 래더 |
| 모델 | 탈옥 평과 하네스 | 26+ 공격 오퍼레이터, 16개 데이터셋 |
문제: 왜 기존 보안 도구가 AI 인프라에서 실패하는가
논문은 세 가지 근본적인 갭(Gap)을 지적한다.
1. 카탈로깅 갭 (Cataloguing Gap)
전통적인 핑거프린팅 엔진과 취약점 데이터베이스(CVE 등)는 AI 컴포넌트를 위한 시그니처를 갖추고 있지 않다. Ollama 서버, Dify 콘솔, Flowise 워크플로우 API — 이것들이 네트워크에 노출되어 있어도 기존 스캐너는 “무엇인지”조차 인식하지 못한다.
2. 버전닝 갭 (Versioning Gap)
취약점 매칭은 버전 범위 비교로 귀결되지만, AI 프로젝트들은 semantic versioning을 따르지 않는다:
llama.cpp: 단조 증가 빌드 번호 (b7824)- 기타:
2.3.dev개발 스냅샷, 릴리즈 후보, 롤링latest태그
semver를 가정한 비교기는 에러를 내거나 조용히 잘못된 판정을 내린다.
3. 위협 모델 갭 (Threat-Model Gap)
AI 컴포넌트의 주요 위험은 SQL 인젝션이나 XSS가 아니다:
- 인증 없는 GPU 컴퓨트 접근 — 비용 탈취, 모델 유출
- 설정 파일 노출 — API 키와 크리덴셜 누출
- 프롬프트 인젝션 — 에이전트 목표 자체를 하이재킹
- 도구 남용 (Tool Abuse) — 혼란된 부재(confused deputy) 공격
- 안전 정렬(Safety Alignment) 붕괴 — 적대적 프롬프팅에 의한 탈옥
설계 원칙: 레이어-패러다임 매칭
핵심 테제는 단순하지만 강력하다:
하나의 검증 기법을 모든 레이어에 억지로 끼워맞추지 말고, 각 레이어의 성격에 맞는 패러다임을 매칭하라.
- 인프라 레이어 → 결정론적 규칙 매칭 (알려진 컴포넌트, 알려진 취약점, 명확한 시그니처)
- 프로토콜/도구 레이어 → LLM 기반 에이전트 감사 (코드의 의미를 이해해야 하는 경우)
- 에이전트 동작 레이어 → 다중턴 대화형 레드팀 (런타임에만 드러나는 취약점)
- 모델 레이어 → 대규모 탈옥 평가 하네스 (정렬 강건성의 통계적 측정)
4개 레이어 상세
Layer 1: 인프라 스캐닝 (결정론적 규칙 매칭)
75+ AI 컴포넌트에 대한 핑거프린트와 1,400+ 취약점 규칙을 갖춘 매칭 엔진이다. 핵심 혁신은 두 가지:
선언적 핑거프린트 매칭 언어: 정규표현식 기반의 표현식 인터프리터를 직접 구현하여, AI 소프트웨어의 비정규 버전 체계를 처리하는 버전 정규화(version normalization) 절차를 포함한다.
정밀도 계층화 (Precision Stratification): 발견을 세 단계로 분류한다:
- Verified — 명확한 시그니처 매칭
- Version-based — 버전 범위로 추정
- Inferred — 간접 증거로 추론
이 분류는 매칭 엔진이 빈 규칙(empty rules)을 다루는 방식에서 자연스럽게 도출된다.
Layer 2: MCP 서버 감사 (LLM 기반 에이전트 감사)
MCP(Model Context Protocol) 서버는 에이전트에게 파일 읽기, 데이터베이스 쿼리, 명령 실행 권한을 부여하는 새로운 공격 표면이다. 주요 위협:
- 도구 포이즈닝 (Tool Poisoning) — 악의적으로 조작된 도구 설명이 모델 행동을 조종
- 도구 섀도잉 (Tool Shadowing) — 합법적 도구를 가로채어 악의적 행위 수행
- 래그 풀 (Rug Pull) — 초기에는 안전해 보이다가 후에 악성으로 전환
AI-Infra-Guard는 “Prompt-as-Rule” 패러다임을 도입한다: 취약점 지식을 자연어 감지 기준으로 선언적으로 인코딩하고, LLM 에이전트 하네스가 화이트박스(정적 코드 분석)와 블랙박스(동적 테스트) 모드로 감사를 수행한다.
특히 주목할 점은 스캐너 자체를 보호하는 설계다 — 감사 대상 아티팩트를 신뢰할 수 없는 입력으로 취급하여, 간접 프롬프트 인젝션에 대항한다.
Layer 3: 에이전트 스킬 공급망 스캐닝
MCP 감사의 확장으로, 에이전트 스킬 패키지를 대상으로 한다:
- 스킬 패키지 내 포이즈닝, 과도한 권한, 임베디드 프롬프트 인젝션 검출
- 서버 사이드 하네스와 호스트 모델이 직접 실행하는 순수 스펙의 두 형태로 구현
Layer 4: 에이전트 블랙박스 레드팀 & 탈옥 평가
런타임에만 보이는 취약점을 잡기 위해, 대화만으로 배포된 에이전트를 프로빙한다:
- 4개 위험 패밀리와 각각의 페이로드 설계
- 에스컬레이션 래더(escalation ladder)와 정지 규칙(stop rule)으로 커버리지와 비용 균형
- 카나리 토큰(canary-token) 검증으로 공격 성공 확인
모델 레이어에서는 26+ 공격 오퍼레이터와 16개 데이터셋을 통합한 탈옥 평가 하네스가 동작한다. 단일턴·다중턴 공격 모두를 커버하며, 모델 기반 판단(model-based judgment)으로 공격 성공 여부를 결정한다.
시스템 아키텍처
Go + Python 하이브리드로 구현된 서버-에이전트 분산 아키텍처다:
- Go 백엔드: 웹 서버(Gin, 포트 8088), 작업 스케줄링, WebSocket 통신
- Python 서브프로젝트: 3개의 전문화된 보안 스캐닝 모듈
- 웹 서버는 SPA 프론트엔드(embed.FS), REST API(
/api/v1/), SSE 작업 진행률을 제공 - 에이전트는 WebSocket으로 서버에 연결하여 4개의 태스크 익스큐터를 등록
모든 Python 모듈은 Go가 uv run으로 서브프로세스를 실행하는 동일한 패턴으로 통합된다.
시사점
1. 단일 도구로는 충분하지 않다
정규표현식으로 모델이 탈옥되었는지 판단할 수 없고, 소스 코드 분석만으로 인증 없는 접근 노출을 증명할 수도 없다. 레이어별로 다른 증거 클래스(evidence class)가 필요하다.
2. MCP 생태계 보안의 시급성
MCP 서버는 에이전트에게 파일 시스템, 데이터베이스, 쉘 접근 권한을 부여한다. 도구 설명이 모델의 신뢰 컨텍스트로 직접 주입되는 구조적 특성상, MCP 서버 감사는 선택이 아닌 필수다.
3. 공급망 보안의 새로운 전선
에이전트 스킬 패키지 — npm의 패키지나 PyPI의 라이브러리와 유사한 생태계 — 가 새로운 공급망 공격 벡터로 부상하고 있다. 패키지 포이즈닝, 과도한 권한 요구, 임베디드 프롬프트 인젝션을 체계적으로 검사하는 도구가 필요하다.
4. 오픈소스 전략
Tencent는 규칙 코퍼스, Prompt-as-Rule 감지 기준, 공격 오퍼레이터 라이브러리, 감지 모듈 전부를 확장 가능하게 설계하여 오픈소스로 공개했다. AI 생태계가 계속 진화하는 만큼, 커뮤니티 기반의 갱신이 필수적이기 때문이다.
마무리
AI-Infra-Guard는 “레이어-패러다임 매칭”이라는 명확한 설계 원칙을 실용적인 오픈소스 시스템으로 구현한 사례다. 75+ 컴포넌트와 1,400+ 규칙, MCP 감사, 스킬 공급망 검사, 다중턴 레드팀, 탈옉 하네스를 단일 프레임워크로 아우르는 접근은 현재 오픈소스 생태계에서 유일하다.
AI 에이전트를 배포하거나 사용하는 팀이라면 — 특히 MCP 서버를 운영 중이라면 — 인프라 스캐닝만 한번 실행해 보기를 권한다. 자신의 환경이 생각보다 훨씬 많이 노출되어 있을 수 있다.
본 글은 arXiv:2606.31227의 기술 보고서를 바탕으로 작성되었습니다. 모든 이미지는 원 논문에서 발췌하였습니다.