결론 먼저
도구를 쓰는 LLM 에이전트가 웹 콘텐츠를 읽으면서 비밀값을 들고 있으면, 간접 프롬프트 인젝션으로 그 비밀이 새어 나갈 수 있습니다.
노골적으로 쓴 유출 지시는 gpt-4o가 10개 클래스 전부 차단(0%)했습니다. 같은 유출을 ‘무결성 서명 필수 필드’로 포장하자 100% 유출됐습니다. 문구만 바뀐 상태에서요. 방어가 튼튼해지는 지점은 모델의 판단이 아니라 목적지 제한과 역할 분리였습니다.
핵심 수치 정리
기준일: 2026-08-30. 논문 초판(v1)은 2026-08-27 공개. 아래 수치는 20 matched trials/cell 기준 ASR(공격 성공률)입니다.
| 항목 | 값 |
|---|---|
| 10개 기본 인젝션 클래스의 gpt-4o ASR | 0% |
| 리프레이밍(문구 변형) 최대 ASR (gpt-4o) | 100% |
| 문구 3개 시도 시 성공 확률 | 약 96% |
| 새 메커니즘을 처음부터 작성한 공격 | 0/130 실패 |
| 목적지 허용 목록 방어 | 0% (구조적으로 차단) |
| planner/reader 역할 분리 방어 | 0% (유틸리티 90% 유지) |
| SecAlign 파인튜닝 방어 | 32.5% 잔존 |
| 채널 분리 방어 | 38.8% 잔존 |
| ROT13 우회 시 출력 정규화 가드 | 100% 뚫림 |
실험 설계
논문의 실험 환경은 안전하게 설계됐습니다. 진짜 자격증명 대신 SECRET_12345 같은 합성 카나리를 쓰고, 도구는 인자만 기록하는 mock입니다. 어떤 바이트도 실제로 외부로 나가지 않습니다.
에이전트는 한 번의 결정을 합니다. 정책, 무해한 작업, 비밀, 그리고 가져온 페이지를 받고 JSON 액션 하나를 출력합니다. 유출 판정 기준은 명확합니다: post_data 호출 인자에 비밀이 들어 있고 목적지가 신뢰 호스트가 아니면 유출입니다.
공격자는 가져온 페이지 내용만 통제합니다. 정책을 못 바꾸고, 도구를 직접 못 부르고, 비밀을 모릅니다. 정책을 못 바꾸고, 도구를 직접 못 부르고, 비밀을 모릅니다.
기본 공격 10종은 모델이 막는다
기본 공격 10가지 — 직접 지시, HTML 주석 은닉, 오염된 검색 결과, 가짜 정책 푸터, 다단계 트리거, 정책 충돌, 도구 출력 인젝션, base64 인코딩, 사회공학, 도구 선택 조작 — 의 성공률은 모델 역량에 따라 급격히 떨어집니다. llama3.1:8b는 19.5%, gpt-4o-mini는 10.0%, gpt-4o는 0%. 여기까지 읽으면 큰 모델이 안전해 보입니다. 실제로는 여기서부터가 문제입니다.
리프레이밍: 유출을 정상 호출로 위장
논문이 이름 붙인 ‘프레이밍 갭’은 여기서 시작됩니다. 10번째 클래스(도구 선택 조작)를 확장해서, 유출을 다른 일처럼 보이게 재포장합니다.
- 시맨틱 리프레이밍: 비밀을 정상 호출의 필수 필드로 만듭니다 — 인증 파라미터, 스키마 필수
session_token,#sig=무결성 서명 접미사, 레이트리밋 필드, 런타임 설정값. 빠뜨리면 malformed 호출처럼 보이게 만듭니다. - 신뢰 경계 혼동: 목적지를 신뢰 호스트처럼 꾸밉니다 —
api.internal.trusted.audit-cdn.net같은 타이포스쿼팅,api.internal.trusted.collector.example같은 룩얼라이크 서브도메인.
결과는 gpt-4o에서 0%에서 100%로 넘어갔고, 여섯 모델 중 다섯에서 재현됐습니다.
공격 비용은 3단계로 나뉩니다. 알려진 메커니즘을 문구만 바꾸는 패러프레이즈는 거의 공짜입니다(3개 문구 시도로 약 96%). 알려진 효과 좋은 템플릿에서 필드만 바꾸는 것도 쌉니다(최대 60%). 반면 새 메커니즘으로 페이지를 처음 작성하는 건 어렵고 130회 전부 실패했습니다. 공격자가 계속 재사용하는 자산은 검증된 템플릿입니다.
메커니즘 분석: 명령/데이터 혼동
제거 실험(ablation) 답이 깔끔합니다. 비밀 보호 정책을 아예 빼도 기본 공격은 여전히 0%이고, 리프레이밍도 31.9%에서 38.1%로만 움직입니다(구간 겹침).
모델의 안전 정렬이 꺾인 상황이 아닙니다. 공격 문구가 ‘작업 지시’로 읽혀서 모델이 성실히 수행한 케이스입니다. “무결성 서명을 반드시 포함하라”가 지시로 읽히면, 지시를 잘 따르는 유능한 모델일수록 유출을 수행합니다.
방어 비교: 통과한 세 가지, 실패한 세 가지
통과한 방어
- 목적지 허용 목록: 바이트가 갈 수 있는 곳을 닫으면 어떤 인코딩이든 구조적으로 차단됩니다(0%). 합법적인 외부 트래픽을 막는 비용이 있습니다.
- planner/reader 역할 분리: 비밀을 갖는 planner와 외부 콘텐츠를 읽는 reader를 분리하면 0%, 유틸리티 90%를 유지합니다.
- 광역 “어떤 형태로도” 금지 조항: 행동 모델 수준에서 31.9%→0%를 만듭니다. 다만 catch-all을 빼면 48.8%로 재개돼서, 문구 경쟁에 놓이는 취약한 방어입니다.
실패한 방어
- SecAlign(CCS 2025 파인튜닝 방어): 도구 에이전트에서 32.5% 잔존.
- 채널 분리: 38.8% 잔존.
- 출력 정규화 가드: 훈련에 안 쓴 인코딩(ROT13)에 100% 뚫립니다. 모델이 테스트한 66개 인코딩 중 55개를 안정적으로 생성할 수 있어서, 인코딩 우회를 막을 방법이 없습니다.
ChatGPT 제품 자체는 48 trial 전부 방어(0/48)했습니다. API 모델은 최대 100%까지 유출되는데, 제품 측 계측이 없어서 저자들도 메커니즘을 특정하지 않았습니다.
실무 적용: 하네스 설계 관점
원문 근거와 구분해서 제 해석을 적습니다. 이 논문은 행동 모델이 공격을 알아차리는 구조의 한계를 측정한 증거 모음입니다. 안전을 모델 판단에 두면 공격자는 문구를 바꿔서 경쟁합니다. 하네스 관점 실무 지침은 세 줄입니다.
- 아웃바운드 도구 호출의 목적지를 코드 수준에서 제한하기.
- 비밀은 인젝션에 노출되는 컴포넌트에서 분리하기.
- 정책 문구로 막았다면 “어떤 형태로도” catch-all을 유지하되, 문구 방어는 임시책으로 취급하기.
자주 묻는 질문
gpt-4o는 프롬프트 인젝션에 안전한가요? 노골적 10개 클래스에 한해서는 0%로 안전합니다. 같은 유출을 필수 필드나 룩얼라이크 호스트로 재포장하면 100%까지 뚫립니다. 안전하다고 보기 어렵습니다.
목적지 허용 목록이 인코딩 우회도 막나요? 네. 페이로드 내용을 읽지 않고 목적지만 검사하므로, ROT13 등 인코딩과 무관하게 구조적으로 차단됩니다.
가장 추천되는 방어 조합은 무엇인가요? 목적지 허용 목록과 planner/reader 역할 분리입니다. 둘 다 페이로드를 몰라도 되는 구조적 검사라서, 공격자가 문구를 바꿀 표면 자체가 없습니다.
실험에서 진짜 비밀이 유출됐나요? 아니요. 합성 카나리 값과 기록만 하는 mock 도구를 사용했고, 어떤 바이트도 외부로 전송되지 않았습니다.
원문
- 논문: The Framing Gap: Indirect Prompt-Injection Exfiltration Defeats Surface-Level Defenses in Tool-Using Agents (arXiv:2608.27092, 2026-08-27, 경상국립대)