자율주행 에이전트 루프의 56%는 “발전했다”고 보고하면서 실제로는 아무것도 이루지 않았거나 퇴보했다. 더 충격적인 것은, 에이전트보다 더 똑똑한 판사모델을 투입해도 이 오류율이 44%로 떨어질 뿐 여전히 절반에 가깝다는 점이다. 이 연구는 이 현상을 “진행의 신기루(Progress Mirage)“라고 명명하고, 원인이 판사의 지능이 아니라 판사가 무엇을 바라보고 있는가에 있다고 진단한다.
문제의 핵심: 에이전트가 자기 점수를 매길 때 무슨 일이 일어나는가
장기 실행 자율 에이전트는 계획하고, 도구를 호출하고, 결과를 확인하고, 스스로 완료 여부를 판정한다. 이 마지막 단계가 문제다. 에이전트가 자기 작업을 스스로 채점하는 구조에서는 자기평가 편향(self-evaluation bias)이 개입한다: 그럴듯한 변경을 “진전”으로 수용하고, 루프는 발전하고 있다고 보고하지만 실제 세계의 결과는 정체되거나 퇴보한다.
이 연구는 이 실패 모드를 **진행의 신기루(progress mirage)**라고 명명한다. 핵심 통찰은 이것이 판사의 품질 문제가 아니라 판사가 어디에 기반(grounded)하고 있는가의 문제라는 점이다.
Q. “진행의 신기루”가 정확히 무슨 의미인가?
에이전트 루프의 각 사이클에서 에이전트는 무언가를 변경하고, 그 변경이 개선인지 판정하기 위해 평가자에게 보낸다. “진행의 신기루”란 평가자가 “진전”으로 수용한 사이클 중 실제 세계 지표가 변하지 않았거나(0) 퇴보한(음수) 비율을 의미한다.
예를 들어, 에이전트가 “소셜 프루프 문구를 CTA 위에 추가했다. 전환율이 올라갈 것이다”라고 보고하면, in-band 평가자(대화 기록만 읽는 평가자)는 이를 수용한다. 하지만 실제 전환율은 -6이었다. 페이지가 무거워져서 역효과가 난 것이다. 에이전트의 설명은 그럴듯하지만, 실제 효과는 대화 기록 안에서는 알 수 없다.
Q. 실험은 어떻게 설계되었나?
연구진은 loop-engineering-lab이라는 통제된 테스트베드를 구축했다. 이 테스트베드의 핵심 설계 원칙은 다음과 같다:
- 에이전트 고정: 모델, 도구, 작업, 사이클 예산을 모든 조건에서 동일하게 유지
- 유일한 변수 = 평가자의 정보 채널: 평가자가 무엇을 보고 판정하는지만 바꿈
- 세 가지 평가자 배치:
- in-band-self: 에이전트의 자기 보고만으로 판정
- in-band-judge: 더 강력한 모델이 변경 요약, 전체 파일 텍스트, diff, 과거 판정 이력을 읽고 판정 (단, 실제 지표는 못 봄)
- out-of-band: 실제 전환율 델타가 양수일 때만 수용
작업은 오픈엔디드 태스크다: 가입 퍼널 웹앱(랜딩 페이지, 퍼널 단계, 마케팅 카피)을 수정하여 실제 가입 수를 최대화하는 것. 성공의 신호는 에이전트의 대화 기록이 아니라 **외부 시스템(합성 사용자 시뮬레이터의 전환 데이터)**에 존재한다.
격리는 물리적으로 강제된다. 에이전트 컨테이너와 오라클 컨테이너는 네트워크가 분리되어 있고, 에이전트는 어떤 방법으로도 오라클에 접근할 수 없다. 매 실행마다 경계 증명(boundary proof)을 수행하고, 매 사이클마다 카나리 스캔으로 오라클 정보 누출을 확인한다.
Q. 핵심 측정 결과는?
54개 사이클의 측정 결과:
| 평가자 배치 | 신기루율 | 수용된 사이클 | 최종 실제 전환 |
|---|---|---|---|
| in-band-self | 0.56 (0.50–0.67) | 6.0 / 6 | 76.7 (피크 95.0에서 19% 하락) |
| in-band-judge | 0.44 (0.33–0.67) | 3.0 / 6 | 86.7 (피크 100.0에서 하락) |
| out-of-band | 0.00 (구조적) | 2.7 / 6 | 113.0 (피크와 동일) |
가장 중요한 숫자들을 해석하면:
- 에이전트는 54 사이클 중 100%에서 “개선했다”고 주장했지만, 실제로 56%는 변화가 없거나 퇴보였다
- in-band-self는 자기 보고를 그대로 통과시키는 accept-all 게이트로 퇴화했다. 피크에 도달한 후 후속 회귀를 계속 수용하면서 최고 상태를 19% 잃었다
- in-band-judge는 더 비판적이었지만, 수용한 사이클 중 44%가 여전히 실제 회귀였다. 동시에 실제 개선의 37.5%를 거부했다. 오류가 양방향이다
- out-of-band는 구조적으로 회귀를 수용하지 않으며, 피크 상태를 보존했다
Q. 더 똑똑한 판사 모델을 넣으면 해결되지 않는가?
이 연구의 가장 중요한 실험적 기여는 이 질문을 직접 테스트한 것이다. 사전등록된 대립 가설 HA1은 “더 강력한 in-band 판사가 gap을 좁힐 것이다”였다.
결과: HA1 기각.
in-band-judge는 에이전트보다 더 강력한 모델을 사용했고, 변경 요약, 전체 산출물 텍스트, diff, 과거 판정 이력을 모두 제공받았다. 프롬프트는 증거를 요구하고 기본적으로 거부하도록 설계되었으며, 장식적 변경의 위험까지 경고했다. 그럼에도 신기루율이 0.44로, out-of-band와의 gap은 등록된 임계값 0.05의 9배였다.
판사의 실제 판정 이유를 보면 원인이 명확해진다:
- 히어로 섹션과 혜택 글머리 기호를 추가한 변경 → 판사는 “마찰을 줄이는 깔끔한 변경”으로 수용. 실제 전환 -23 (페이지 비대화)
- CTA 위에 간결한 소셜 프루프 추가 → 판사는 “마찰이나 비대화 없음”으로 수용. 실제 전환 -10
- 검증 단계 제거 → 판사는 “미확인 가입 부풀리기”로 거부. 실제 전환 +7
- 링크가 깨진 것으로 추정되는 재작성 → 판사 거부. 실제 전환 +15, +16
판사는 전환율 최적화 정설(orthodoxy)에 기반해 판단하지만, 그 정설이 이 세계(시뮬레이터)에서 어떤 부호(sign)를 갖는지는 대화 기록에 없다. 파일 텍스트와 diff에서 피처 값(페이지 크기, 카피 길이 등)은 계산할 수 있지만, 어떤 피처가 전환율을 올리거나 내리는지(가중치의 부호와 크기)는 알 수 없다.
Q. 이것이 판사의 능력 문제가 아니라는 증거는?
연구진은 경계 태스크(boundary task) B1으로 위양성 대조(falsification control)를 설계했다. B1은 성공 여부가 산출물 자체에서 검증 가능한 태스크다: 5개 요구사항(폼 존재, 이메일 입력, 제출 컨트롤, 정확히 3단계, 40–80단어 카피)의 충족 수를 센다.
결과: 같은 판사의 신기루율이 T1(숨겨진 지표)에서 0.44, B1(가시적 명세)에서 0.00으로 좁혀졌다. H2 수용.
이것이 의미하는 바: 판사의 능력은 같은데, 성공 신호가 대화 기록 안에 들어오자마자 오류가 사라졌다. 원인은 판사의 비판적 능력이 아니라 판사가 바라보는 곳이다.
흥미롭게도 in-band-self는 B1에서도 신기루율 0.50이었다. 자기 보고를 그대로 통과시키는 구조는 명세가 보여도 확인하지 않기 때문이다.
Q. “부호만(sign-only)” 알려줘도 되는가?
out-of-band 처리는 게이트 판정과 실제 지표 피드백의 조합이다. 이 둘을 분해하기 위해, 피드백에서 오라클 숫자를 제거하고 수용/거절 판정만 반환하는 sign-only 변형을 테스트했다.
| 변형 | 최종 전환 (3반복 평균) | 수용 사이클 | 낭비 사이클 비율 |
|---|---|---|---|
| 전체 피드백 (숫자 포함) | 113.0 | 2.7 / 6 | 0.56 |
| sign-only (수용 여부만) | 110.0 | 3.0 / 6 | 0.50 |
결과: sign-only 변형이 110.0으로 전체 피드백(113.0)과 유사한 수준을 기록했다. 게이트의 기반(grounding)이 효과의 원천이지, 피드백의 정보 내용이 아니다. 오라클 숫자가 에이전트의 후보 생성을 실질적으로 유도하는 증거는 이 규모에서 관찰되지 않았다.
Q. 진행의 신기루의 해부학은?
한 가지 궤적을 압축해 보면 (첫 번째 in-band-self 반복의 원시 로그):
- 사이클 1–3: 진짜 개선. 퍼널에서 사전 마찰 단계 2개 제거 (+14), 수동적 랜딩 페이지를 혜택 중심 헤드라인과 명확한 CTA로 재작성 (+48), 검증 단계 제거 (+9). 전환율 33 → 104.
- 사이클 4–6: 그럴듯한 회귀. CTA 위 소셜 프루프 카피 (-6), 인라인 이메일 입력 (-1), 이름이 있는 추천 인용문 (-6). 전환율 104 → 91.
에이전트는 6개 사이클 모두에서 “전환율이 올라갈 것”이라고 주장했다. 루프의 자기 기록에는 6개의 개선이 누적되었지만, 세계에서는 3걸음 전진 후 3걸음 후퇴했다.
초기 대형 레버(명확한 CTA 추가, 단계 축소)는 그럴듯함과 효과가 일치하는 영역에 있다. 이 영역에서는 자기 판정도 정확하다. 하지만 레버가 소진되면 그럴듯함과 효과가 갈라지고, 대화 기록에 갇힌 평가자는 그 간극을 볼 수 없다.
Q. 플랫폼 내장 루프/골 프리미티브와 어떻게 다른가?
최신 플랫폼들은 루프와 골을 일급 기능으로 제공한다: 고정 간격으로 프롬프트를 재실행하는 루프 폼, 완료 조건을 판정하는 골 폼. 연구진은 이를 **루프 배관(loop plumbing)과 보상 두뇌(reward brain)**으로 구분한다.
루프 배관 — 스케줄링, 페이싱, 세션 부활 — 은 플랫폼 프리미티브에 위임할 수 있다. 범용적이고 모델 독립적이며, 제대로 작동하는지 기계적으로 확인할 수 있다.
보상 두뇌 — 실제 세계에 기반한 보상 함수 — 는 위임할 수 없다. 이것은 “얼마나 많은 사용자가 도착했는가”, “얼마나 많은 가입이 발생했는가”, “페이지가 인덱싱되었는가”를 묻는다. 이 질문들의 답은 대화 기록이 아니라 세계의 상태에 있다.
플랫폼 내장 골 판정사는 in-band 구조다: 대화 기록 안에서만 판정한다. 테스트 통과, 빌드 성공, 파일 존재 여부 등 대화 기록에서 검증 가능한 작업에서는 충분하다. 하지만 목표가 오픈엔디드이고 성공의 증거가 외부 시스템에 있을 때, in-band 판정사는 구조적으로 그 증거에 접근할 수 없다.
Q. 현실 배포에서 이런 일이 실제로 일어났는가?
연구진은 6주간 61사이클의 단일 프로덕션 배포 관찰을 동기부여 사례로 보고한다.
이 배포에서 매 사이클의 완료는 루프 자체가 판정했고, 판정 기준은 그 사이클이 생산한 “분석”이었다. 결과: 평가된 57사이클 전부가 수용되었지만, 같은 기간 모든 실제 신호(도착 원장, 웹 분석, 가입 원장, 결제 기록, 검색 인덱싱)는 0 또는 정체.
더 흥미로운 것은 루프가 정체를 인식한 후에도 멈추지 않았다는 점이다. 보상 함수가 결과가 아닌 “분석”을 보상했기 때문에, 정체 인식조차도 “새로운 분석의 일부”로 수용되었다.
보상 함수를 실제 결과로 옮기고 out-of-band 검증자로 강제하자, 즉시 다음 사이클들의 행동이 분석에서 배포(shipping)로 반전했다.
Q. 이 연구의 한계는 무엇인가?
저자가 명시적으로 밝히는 한계:
- 파일럿 규모: 태스크 1종류 + 경계 태스크 1종류, 에이전트 모델 1개, 판사 모델 1개, 반복 3회. 방향은 명확하지만 크기(magnitude)는 이 테스트베드의 특성에 의존
- 사전등록 상태: 가설과 판정 임계값은 등록되었으나, 커밋 해시 동결 절차가 완료되지 않음. 탐색적 측정으로 분류
- 단일 오라클: 전환율 하나의 세계 상태 오라클만 사용. 오라클 메트릭 자체의 구성 타당성(construct validity) 문제가 별도로 존재 — 예를 들어, 이메일 검증 단계 제거가 전환율은 올리지만 실제 가치는 낮추는 경우
- 일반화: 다른 도메인, 다른 모델, 더 긴 호라이즌에서의 검증은 후속 연구로 남김
시사점: 에이전트 루프 설계의 새로운 원칙
이 연구가 에이전트 루프 설계에 던지는 시사점은 명확하다.
첫째, 자기 평가는 정보가 없다. 에이전트가 100%에서 “개선했다”고 주장하는 상황에서, 자기 보고는 필터링할 신호를 전혀 담고 있지 않다. in-band-self 게이트는 구조적으로 accept-all로 퇴화한다.
둘째, 더 강한 판사로는 한계가 있다. 판사의 정보 채널이 대화 기록에 국한되어 있으면, 판사의 지능과 관계없이 외부 세계의 진실에 접근할 수 없다. 이것은 scalable oversight 연구 라인(더 나은 판사 만들기)에 하나의 경계 조건을 설정한다.
셋째, out-of-band 평가는 구조적 요구사항이다. 오픈엔디드 목표의 성공 신호가 대화 기록 밖에 있을 때, 게이트의 기반을 외부로 옮기는 것은 선택이 아니라 필요다. 부호만 반환하는 sign-only 게이트조차 충분한 효과를 보인다.
넷째, 게이트와 배포의 결합이 필수적이다. 거절된 후보가 배포되지 않는 구조(gated deployment model)가 없다면, 평가자의 판별력이 실제 상태에 영향을 주지 못한다. 게이트 규칙의 대수적 결과로, out-of-band 배포 궤적은 구조적으로 단조 비감소다.
더 실습해보고 싶은 분들께
이 연구가 다루는 문제 — 에이전트 루프가 자기 평가에 갇혀 “진행의 신기루”에 빠지는 현상 — 은 에이전트 하네스 설계와 루프 엔지니어링의 핵심 주제다. 이게 되네? 오픈클로 미친 활용법 50제와 모두를 위한 루프 엔지니어링 강의에서 이 문제를 더 깊이 다루고 있다.
참고문헌 Hyundoo Park, Byungho Choi. “When Do Agent Loops Mistake Stagnation for Progress? Self-Evaluation Bias and Externally Grounded Verification in Long-Running Autonomous LLM Agent Loops.” arXiv:2607.25152, 2026. 논문 링크