arXiv:2608.13560 “AutoDesign: Meta-Harness Optimization for Long-Horizon Agentic Design”(2026-08-13 제출, Yaxin Luo 외 14인, Meituan·MBZUAI·화중과기·북경대·칭화대·CUHK·SJTU 공동) 논문 정리입니다. 이 연구는 모델 가중치를 고정한 상태에서, 에이전트를 둘러싼 시스템(하네스)을 재귀적으로 최적화하여 롱호라이즌 멀티모달 설계 작업의 품질을 높입니다.
방법
AutoDesign은 두 개의 중첩 루프로 구성됩니다.
- 내부 루프(design harness): 디자이너 모듈과 크리틱 모듈이 산출물을 반복 생성·수정합니다. 하네스는 고정됩니다.
- 외부 루프(meta-harness): 훈련 태스크 셋에서 룰아웃을 수행하고, 평가 결과에서 반복 실패를 식별하여, 코딩 에이전트가 하네스에 유한한 업데이트를 제안합니다.
하네스는 다섯 개 기능 컴포넌트(컨텍스트·메모리, 도구·스펙, 실행 런타임, 오케스트레이션, 평가·피드백)로 분해되며, 외부 루프는 각 반복에서 한 컴포넌트를 업데이트 대상으로 삼습니다. 업데이트는 승인 게이트를 통과해야 반영됩니다. 기준은 훈련셋 성능 향상과 개발셋 성능 비하락입니다. 평가자는 사람이 어노테이션한 참조 산출물로 초기화되며 자율 최적화 동안 고정됩니다.
Figure 3은 프레임워크 전체 구조를 보여줍니다.
논문의 Figure 4는 같은 구분을 그림으로 정리한 것인데, 내부 루프의 업데이트 대상은 산출물 y, 외부 루프의 업데이트 대상은 하네스 H입니다.
평가 프로토콜
저자들은 논문-포스터 변환 작업을 위한 벤치마크 PosterBench를 함께 제안했습니다.
- 메인 트랙: 5개 분야 논문 100편
- PosterBench-mini: 공유 10편 서브셋(통제 실험용)
- 평가 차원 7개: Faithfulness, Coverage, Density, Visual Evidence, Layout, Readability, Aesthetics
- 평가 방법: 규칙 기반 검사, VLM 판정, 하이브리드
Figure 7은 PosterBench 평가 파이프라인입니다.
결과
메인 트랙 주요 점수는 다음과 같습니다.
| 시스템 | 구성 | 점수 |
|---|---|---|
| AutoDesign | Claude Code + Claude 4.8 | 78.32 (1위) |
| OpenDesign | 동일 설정 | 70.36 |
| Claude Code | Claude 4.8 | 70.01 |
| Claude Design | Claude Code + Claude 4.8 | 66.83 |
PosterBench-mini 통제 실험에서는 7가지 코드 에이전트·모델 구성 전체에서 DesignHarness 부착 시 성능이 향상되었습니다. 평균 54.99 → 67.39(+12.40점), 구성별 향상 폭은 +5.0 ~ +19.6점, 최고 점수는 81.5입니다.
비용-성능 분석에서 LongCat-2.0 구성은 포스터당 약 10.02에 81.46점, Doubao Seed 2.1 Pro는 $2.75에 71.83점이었습니다.
Figure 8은 7개 구성의 비용-성능 트레이드오프를 보여줍니다.
시스템 블라인드 사람 평가에서는 유효 판정 933건 기준 Bradley–Terry 추정 64.0%(95% 구간 55.2–77.8%)로 최고 선호를 받았습니다. PosterBench 점수 차이가 20점 이상인 페어에서 참가자 선호와 자동 평가 선호의 일치율은 74.4%였습니다.
자율 실행 비용
완전 자율 롱호라이즌 실행 1회의 실측치는 다음과 같습니다.
| 항목 | 값 |
|---|---|
| 도구 호출 | 253회 |
| 수정 턴 | 11회 |
| 소요 시간 | 40분 |
| 비용 | $3 미만 |
7일간의 진화 트레이스에서는 서브에이전트 224회 호출, 재귀 반복 123회 이상, 하네스 업데이트 54건이 기록되었습니다.
Figure 2는 AutoDesign으로 자기 논문의 포스터를 생성한 사례입니다.
제약 사항
- 평가자 초기화에 사용된 사람 어노테이션의 선호 기준에 따라 수렴 방향이 영향을 받을 수 있습니다.
- 주 평가 태스크는 논문-포스터 변환 단일 영역이며, 다른 매체로의 일반화는 데모 수준입니다.
- 최고 성능 구성이 Claude 계열 모델에 의존합니다. 오픈 모델 구성의 절대 성능은 55.13점에 그칩니다.
더 실습해보고 싶은 분들께
공개 자산은 다음과 같습니다. 코드 저장소는 github.com/Yaxin9Luo/AutoDesign, 데모는 designanything.ai(연구 미리보기)입니다.