핵심 한 줄
ARC-AGI-3의 25개 공개 게임 전체(183 레벨)에서 RHAE 100.00점을 달성한 코딩 에이전트 시스템 Tycho가 등장했다. 에이전트가 게임의 규칙을 직접 Python 프로그램으로 모델링하고, 그 프로그램 안에서 계획을 세워 행동하는 구조다. 단순히 강한 모델을 쓴 게 아니라, “언제 모델을 만들고, 언제 고치고, 언제 무시할 것인가”라는 메타추론 문제를 정면으로 다뤘다.
문제: 상호작용 속에서 배우는 지능
ARC-AGI-3는 기존 정적 추론 벤치마크와 근본적으로 다르다. 에이전트는 64×64 컬러 격자를 관찰하고 행동을 선택하며, 다음 격자를 받는다. 규칙도, 목표도, 행동의 의미도 알려주지 않는다. 모든 행동은 점수에 포함된다. 탐색 itself에 비용이 드는 것이다.
이것은 단순한 게임 플레이가 아니다. 미지의 환경에 진입해 가설을 형성하고, 행동으로 검증하고, 모델을 수정하는 일반적 지능의 핵심을 테스트한다. 논문은 이를 “능동적 추상화(active abstraction)“라고 부른다 — 비용이 드는 상호작용 속에서 테스트 가능한 모델을 구축하고, 그 모델을 사용하는 것이 가치가 있는지 판단하는 문제 말이다.
접근: 실행 가능한 세계 모델
Tycho의 핵심 아이디어는 단순하다. 게임의 규칙을 Python 프로그램으로 작성하는 것이다. 이 프로그램은 네 가지 함수를 구현한다:
init_state: 레벨의 첫 프레임에서 내부 상태를 초기화transition: 현재 상태에서 행동을 받아 다음 상태를 계산render: 내부 상태를 관측 가능한 격자로 변환 (모르는 칸은 포기 가능)outcome: 현재 상태가 진행 중인지, 레벨 완료인지, 게임 오버인지 분류
이 프로그램은 자유 형식이다. 객체 목록, 유한 상태 기계, 셀룰러 오토마타, UI 모드 — 무엇이든 에이전트가 선택한다. 사전에 정해진 객체 분해 방식이 없다.
부분 예측: 모르는 것은 모른다고 말한다
Tycho의 모델은 모든 픽셀을 예측할 필요가 없다. 렌더러가 특정 셀에 대해 ⊥(모름)를 반환할 수 있다. 이것은 단순한 기술적 디테일이 아니다 — 에이전트가 자신의 불확실성을 명시적으로 표현하는 메커니즘이다.
예를 들어 남은 이동 횟수를 표시하는 HUD가 있다고 하자. 첫 행동 후 막대 길이가 64→63으로 줄었다면, 초기 예산이 43~127 사이 어디든 될 수 있다. Tycho는 이를 “관측 변형(observation variants)“으로 처리하고, 후속 관측으로 가설을 좁힌다.
메타추론: 모델을 언제 쓸 것인가
Tycho의 가장 흥미로운 설계 결정은 모델 사용을 에이전트의 선택사항으로 만든 것이다. 네 가지 정책을 비교했다:
| 정책 | 설명 | RHAE | 완료 레벨 |
|---|---|---|---|
| No World Model | 직접 추론만 | 79.07 | 157/183 |
| Single | 한 액터가 추론+모델 편집 | 85.36 | 162/183 |
| Orchestrator | 액터가 모델 빌더에게 위임 | 88.49 | 166/183 |
| Trigger | 검증 실패 시 자동 빌더 호출 | 83.07 | 162/183 |
가장 정확한 모델을 만드는 Trigger 정책이 점수는 가장 낮다. 전이 예측 정확도 88.1%를 달성했음에도 불구하고. 왜? 모델 구축에 추론 비용을 너무 많이 쓰기 때문이다.
정확한 시뮬레이터가 반드시 좋은 게임 플레이를 보장하지는 않는다.
이것이 논문의 핵심 통찰 중 하나다. 모델의 정확성과 모델의 유용성은 다른 차원이다. 언제 모델을 만들고, 언제 고치고, 언제 직접 추론하는 것이 나은지 결정하는 “메타추론”이 성능을 좌우한다.
검증과 계획: 두 가지 다른 질문
Tycho는 모델 검증과 계획을 명확히 구분한다:
- 검증: “이 프로그램이 과거 관측을 재현하는가?”
- 계획: “재현된 상태에서 목표까지 가는 행동序列가 있는가?”
검증을 통과한 모델이라도 게임을 잘할 수 없는 경우가 있다. sk48 게임의 사례가 정확히 이것을 보여준다. 에이전트가 그리퍼-블록 시뮬레이터를 정확히 구축했지만, 목표가 무엇인지 식별하지 못했다. 13번의 빌더 호출과 314개의 공식 행동을 썼지만 레벨을 하나도 완료하지 못했다. 정확한 역학 + 잘못된 목표 = 실패.
프론티어 모델에서의 완벽한 점수
Orchestrator 정책을 선택한 후, 두 프론티어 모델로 시스템을 평가했다:
| 모델 | RHAE | 완료 게임 | 완료 레벨 | 행동 수 | 추정 비용 |
|---|---|---|---|---|---|
| GPT-5.6 Sol | 100.00 | 25/25 | 183/183 | 7,766 | $4.47k |
| Opus 5 | 100.00 | 25/25 | 183/183 | 6,641 | $2.99k |
Opus 5는 GPT-5.6 대비 14.5% fewer 행동을 사용했으며, 인간 기준 행동의 **38.8%**만으로 모든 레벨을 완료했다. 25개 게임 모두에서 인간 상위 10% 성능에 도달했다.
비용 효율성
경쟁 시스템들과의 비교에서 Tycho는 동일 모델 기준 절반 이하 비용으로 더 높은 점수를 달성했다:
- OPINE-World (Opus 4.8): 5.78k (동일 모델)
- Rodionov 검증 런 (GPT-5.6 Sol): 4.47k
- Opus 5 런: $2.99k — 가장 효율적인 구성
사례 연구: 모델이 빛나는 순간
정확한 재생과 계획 (cd82)
cd82 게임에서 에이전트는 페인트 드로퍼를 캔버스 위로 움직여 목표 패턴을 재현하는 과제를 받는다. 모델이 레벨 0–3의 38개 전이를 정확히 재생한 후, 레벨 4의 초기 상태를 완벽히 예측하고 13행동 계획을 시뮬레이션했다. 에이전트는 첫 번째 추천을 받아들였고, 전체 시퀀스를 한 번에 실행해 레벨을 완료했다. 시행착오가 필요 없었다.
부분 렌더링으로 탐색 (tu93, 레벨 6)
tu93은 64×64 격자가 9×13 룸 그래프를 인코딩하는 게임이다. 모델은 통과 가능성, 플레이어/목표 위치, 방향, 위험 요소, 이동 예산을 추적했다. HUD 행을 포기하면서(98% 커버리지) 100% 전이 정확도를 달성했다. A* 탐색이 189개 노드를 확장하고 위험 요소를 제거하는 13행동 계획을 반환했다. 에이전트는 그대로 따라갔고 완료했다.
수리 후 재계획 (tu93, 레벨 8)
GPT-5.6 런에서 이전에 관측되지 않은 상호작용이 발견되었다. 플레이어가 순찰자에 수직으로 접촉하면 폭발과 함께 제거된다는 규칙이었다. 모델이 틀렸음이 확인되자, 빌더가 이를 수정했다. 수리 후 모델은 168개 전이를 정확히 재생했고, BFS가 12행동 최단 경로를 찾았다. 에이전트는 그대로 실행하여 완료했다.
의미: 에이전트 설계의 새로운 축
Tycho가 보여주는 것은 단순히 “ARC-AGI-3을 풀었다”가 아니다. 에이전트 시스템 설계에서 ‘모델 할당’이라는 새로운 축을 제시한다:
- 모델 표현의 자유도: 고정된 객체 분해가 아닌, 게임별 맞춤형 Python 프로그램
- 메타추론 정책: 모델을 누가, 언제 만들지를 실험 변수로 다룸
- 정확성 ≠ 유용성: 가장 정확한 모델이 최선의 선택이 아닐 수 있음
- 검증과 계획의 분리: 모델이 맞는 것과 모델이 유용한 것은 다른 문제
이것은 하네스(harness) 설계, 루프 엔지니어링, 도구 사용 에이전트 등 최근 에이전트 연구의 핵심 주제들과 직접 연결된다. 에이전트가 단순히 도구를 호출하는 것을 넘어, 자신의 인지 구조를 동적으로 구성하고 수정하는 방향으로 나아가고 있다.
더 실습해보고 싶은 분들께
Tycho처럼 에이전트가 스스로 세계 모델을 구축하고 메타추론으로 행동을 결정하는 구조를 직접 만들어보고 싶다면, 다음 두 자료를 추천한다:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 코딩 에이전트, 하네스 설계, 도구 사용 루프를 실습하며 체감할 수 있다.
- 「모두를 위한 루프 엔지니어링」 — 에이전트 루프와 메타추론 구조를 직접 설계하는 방법론을 다룬다.
논문: Tycho: Active Abstraction with Programmatic World Models for ARC-AGI-3 (arXiv:2607.28287, 2026년 7월) 코드: github.com/NIMI-research/Tycho