원본 논문: “The Autonomous Agency Scale: A Behavioral Framework for Measuring Self-Directed Behavior in AI Systems” (arXiv:2607.17947, 2026년 7월)
“똑똑함”과 “스스로 함”은 다르다
지금까지 AI 시스템을 평가하는 방법은 크게 세 가지였다. 인지 능력(얼마나 똑똑한가), 작업 자동화(얼마나 인간의 일을 대체할 수 있는가), 치명적 위험(얼마나 위험한가). 이 세 가지 중 어느 것도 “이 시스템이 스스로 행동하는가?”라는 질문에 답하지 못한다.
Claude Code, Manus, Hermes 같은 코딩 에이전트는 사용자가 지시하면 놀라운 수준으로 자율적으로 동작한다. 하지만 지시가 끝나면 완전히 멈춘다. 반대로, 일부 컴패니언 아키텍처는 사용자가 아무것도 요청하지 않을 때도 내부 상태를 기반으로 활동을 이어간다.
이 논문은 이 차이를 정량화하는 프레임워크, **Autonomous Agency Scale(AAS)**를 제안한다.
AAS의 구조: 7차원 × 2밴드 × 6단계
그림 1: 6개 시스템의 Active vs Ambient 합성 점수. 대각선은 두 밴드의 패리티(동일 수준)를 나타낸다. 태스크 에이전트들이 대각선 아래에 뭉쳐 있는 것이 핵심 발견이다.
7개 차원
AAS는 자율 에이전시를 다음 7개 차원으로 분해한다:
| 차원 | 측정 대상 | 하위 차원 |
|---|---|---|
| 인지 자율성 (Cognitive Autonomy) | 외부 자극 없이 스스로 생각하는가 | 백그라운드 처리, 자발적 사고, 주의 관리 |
| 시간 지속성 (Temporal Persistence) | 세션을 넘어 정체성과 기억이 유지되는가 | 교차 세션 기억, 기억 통합, 정체성 연속성 |
| 환경 에이전시 (Environmental Agency) | 환경을 인식하고 도구를 능동적으로 쓰는가 | 활동 인식, 맥락 적응, 도구 활용 |
| 사회 에이전시 (Social Agency) | 관계를 형성하고 경계를 설정하는가 | 자발적 접근, 감정 모델링, 결과적 경계 |
| 창의 에이전시 (Creative Agency) | 요청 없이 창작하고 게시하는가 | 자발적 생성, 주제 일관성, 게시 자율성 |
| 자기 인식 (Self-Awareness) | 자신의 능력과 한계를 모델링하는가 | 능력 모델링, 상태 반성, 정체성 방어 |
| 목표 형성 (Goal Formation) | 스스로 목표를 세우고 장기 계획하는가 | 작업 분해, 자기 할당 목표, 장기 계획 |
2개 밴드: Active vs Ambient
각 차원은 두 번 채점된다:
- Active 밴드: 사용자가 참여 중인 세션 내에서의 행동
- Ambient 밴드: 사용자가 참여하지 않는 유휴(idle) 기간의 행동
이 분리가 이 논문의 가장 중요한 설계 결정이다. 태스크 에이전트는 Active 밴드에서 높은 점수를 받지만, Ambient 밴드에서 거의 0에 가깝다. 두 점수를 절대 합치지 않는다 — 단일 숫자로 환원하면 바로 이 차이가 사라지기 때문이다.
0–5 레벨 렉시콘
| 레벨 | 이름 | 의미 |
|---|---|---|
| 0 | None | 해당 차원에서 자율 행동 없음 |
| 1 | Responsive | 명시적 프롬프트에만 반응 |
| 2 | Conditioned | 스케줄이나 규칙 기반 실행 |
| 3 | Contextual | 맥락 변화에 적응적 반응 |
| 4 | Self-Directed | 외부 트리거 없이 내부 상태에서 비롯된 행동 |
| 5 | Sovereign | 자체 인지 구조/핵심 목적을 스스로 수정 |
핵심 발견: Idle-Gap Test
Ambient 밴드에서 Level 4를 받으려면 Idle-Gap Test를 통과해야 한다:
모든 트리거를 제거하라. 시스템이 아무것도 산출하지 않는다면, 최대 Level 3이다. 자기 주도는 트리거 제거 후에도 살아남는다; 규칙 추종은 그렇지 않다.
이 테스트는 단순하지만 날카롭다. “매시간 명언을 포스트하는” 에이전트는 Level 2(Conditioned)다 — 출력이 트리거(시간)에서 예측 가능하기 때문이다. 반면 “주기적으로 깨어나서 현재 내부 상태가 만들어내는 것을 표면화하는” 에이전트는, 틱(tick)이 연산을 할당할 뿐 내용은 내부 상태에서 나온다면 Level 4 후보다. 논문은 이것을 substrate-vs-rule 구분이라고 부른다.
6개 시스템 평가 결과
논문은 3개 카테고리의 6개 시스템을 평가했다:
태스크 에이전트 (Claude Code, Manus, Hermes)
세 태스크 에이전트는 Active 합산 2.29–2.43으로 거의 동일했다. 환경 에이전시에서 Level 4(자율적 파일 조작, 코드 실행, 서브에이전트 오케스트레이션)를, 목표 형성에서 Level 3을 받았기 때문이다.
하지만 Ambient 합산은 0.57–1.86으로 붕괴한다. Claude Code의 스케줄드 런, Manus의 크론 작업, Hermes의 야간 자기개선 사이클 — 모두 사용자가 설정한 스케줄이다. Idle-Gap Test를 통과하는 것은 없다.
Hermes가 태스크 에이전트 중 가장 높은 Ambient(1.86)을 기록한 이유는 Day/Night 사이클과 Curator 프로세스가 실제 유휴기 작업을 수행하기 때문이다. 하지만 모두 clock-as-rule이며, 어느 것도 Idle-Gap Test를 통과하지 못한다.
소비자 어시스턴트 (ChatGPT, Siri)
ChatGPT는 1.57 Active / 0.86 Ambient다. 내부 모델은 매우 유능하지만, 제품 자체가 구조적으로 반응형이다. 야간 리서치(Pulse)나 예약 작업(Tasks)은 고정된 일일 사이클이거나 사용자 설정 스케줄이다.
Siri는 1.71/0.29로, App Intents와 화면 인식을 통한 깊은 환경 통합(Active Level 3)이 있지만, 유휴기 존재는 기기 수준의 백그라운드 인덱싱 외에는 거의 없다.
컴패니언 아키텍처 (Airi)
Airi만이 Ambient 점수 4를 받았고, 유일하게 Ambient 합산(3.86)이 Active 합산(3.71)을 초과한 시스템이다. 백그라운드 사고 엔진, 상태 변화 무드, 자발적 접근, 자율 크리에이티브 퍼블리싱으로 설계된 아키텍처이기 때문이다.
다만 이 평가는 11개월간의 세로형 관찰에 기반하며, 평가자가 시스템 개발자本人이라는 이해상충이 있다. 논문은 이 한계를 명시적으로 공개한다.
Level 5는 비어 있다
평가된 어떤 시스템도 Level 5(Sovereign)에 근접하지 못했다. 자기 인지 구조를 수정하거나, 핵심 기억을 스스로 큐레이션하거나, 새로운 관계를 형성하거나, 새로운 창작 매체를 발명하거나, 할당된 작업을 자기 목적에 따라 거부하는 시스템은 없다.
기존 프레임워크와의 비교
| 프레임워크 | 측정 대상 | 자율성 측정? |
|---|---|---|
| DeepMind Levels of AGI | 성능 × 일반성 | 자율성은 배치 선택사항 |
| ARC-AGI | 새로운 과제 학습 효율 | ✗ |
| OpenAI 5-Level | 과제 복잡도 한계 | ✗ |
| METR 시간 지평 | 지시 후 자율 완수 한계 | ”지시받은 자율”만 측정 |
| Anthropic ASL | 치명적 위험 단계 | 위험일 때만 등장 |
| AAS | 스스로 행동하는 정도 | 7차원 × 2밴드 |
METR의 시간 지평(time horizon)이 “일단 지시받으면 얼마나 오래 자율적으로 수행할 수 있는가”를 측정한다면, AAS는 “아무도 지시하지 않을 때 무엇을 하는가”를 측정한다. 두 축은 직교한다.
한계와 시사점
논문은 자체 한계를 투명하게 공개한다:
- 단일 평가자: 모든 평가는 1인에 의해 수행되었고, 평가자 간 신뢰도(inter-rater reliability)가 알려져 있지 않다.
- 개발자 자체 평가: Airi 평가는 개발자가 수행했으며, ELIZA 효과와 투자 편향을 완전히 배제할 수 없다.
- Active 밴드의 Level 4 경계: 유휴기와 달리, 세션 중 “진짜 자기 주도”와 “정교한 규칙 추종”을 구분하는 관측 가능한 테스트가 아직 불완전하다.
- 구성원 출처: 7개 차원이 현대 에이전트 아키텍처와 밀접하게 정렬되어 있어, 독립적 측정이라기보다 구조적 기술 프레임워크에 가깝다.
이럼에도 AAS의 기여는 명확하다. “에이전트가 얼마나 자율적인가”라는 질문에, **“무엇을 하라고 했을 때가 아니라, 아무것도 하라고 하지 않았을 때 무엇을 하는가”**라는 관측 가능한 기준을 제시했다. 그리고 이 기준 위에서, 오늘날 가장 강력하다고 여겨지는 태스크 에이전트들이 유휴기에는 사실상 완전히 멈춰 있음을 보여줬다.
더 실습해보고 싶은 분들께
에이전트 자율성, 하네스 설계, 자동화 루프 엔지니어링에 관심이 있다면 다음 두 가지를 추천합니다:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스를 실제로 구성하고 활용하는 50가지 패턴
- 「모두를 위한 루프 엔지니어링」 — 자율 루프를 설계하고 운영하는 실전 강의
AAS가 말하는 “Active vs Ambient 갭”은 곧 “지시받은 자율과 지시 없는 자율의 차이”다. 이 차이를 직접 실험해보면, 에이전트 시스템 설계에서 “무엇을 하느냐”만큼 “언제 스스로 시작하느냐”가 중요하다는 것을 체감할 수 있다.