한눈에
- FlashRT는 코딩 에이전트를 하네스로 감싸서, 개발자가 작성한 단순한 싱글 GPU 참조 구현을 최적화된 다중 GPU 배포로 자동 변환한다.
- 핵심 설계는 chain-of-program 패러다임: 에이전트가 (1) 참조 코드를 중간 표현(IR)으로 변환 → (2) 정적 분석으로 최적화 후보 식별 → (3) 측정 기반 검증 루프로 반복 개선한다.
- NVIDIA B200에서 최대 ~70× 지연시간 단축, 2.8× 처리량 개선. AMD MI355X에서는 3.6× 처리량 개선을 달성했다.
- Qwen3-Omni에서는 전문가가 설계한 vLLM-Omni 구현보다 65% 낮은 응답 지연시간을 기록했다.
- 논문의 형식 분석에 따르면 멀티모달 배포 문제는 NP-hard이며, 따라서 고정된 정책이 아닌 에이전트 주도 탐색이 필수적이다.
배경: 왜 멀티모달 배포가 어려운가
실시간 음성 에이전트, 인터랙티브 비디오 생성, 아바타 합성 — 이런 멀티모달 애플리케이션은 서로 다른 아키텍처의 모델들을 파이프라인으로 연결한다. 각 애플리케이션마다 배포 최적화 전략이 다르다:
- 지연시간 중심: 모델들을 같은 GPU에 co-location하여 파이프라인의 critical path를 줄인다
- 처리량 중심: 모델들을 별도 GPU에 disaggregation하여 병렬 처리 프레임을 극대화한다
그림 1: 기존에는 각 멀티모달 애플리케이션마다 전문가가 수동으로 효율적인 구현을 만들어야 했다. FlashRT는 코딩 에이전트가 이를 자동화한다.
기존 시스템들의 한계는 명확하다:
| 접근 | 한계 |
|---|---|
| vLLM-Omni, Cornserve | 고정된 배포 정책 (전체 disaggregation 등) |
| FlexFlow, Alpa, GSPMD | 단일 워크로드에 특화, 멀티모달 파이프라인 일반화 불가 |
| TVM, TASO | 연산자 수준 최적화만, 배치/배치ング/스트리밍 불가 |
FlashRT의 핵심 아이디어: Chain-of-Program
단순히 에이전트에게 “이 코드 최적화해줘”라고 하는 것은 작동하지 않는다. FlashRT의 해법은 컴파일러 파이프라인에서 영감을 얻은 다단계 에이전트 워크플로다.
그림 2: (a) 사용자의 참조 구현. (b) 단순 프롬프팅은 일관성 없는 결과. (c) FlashRT는 IR 변환 → 분석 → 검증 루프로 일관되고 다양한 최적화 전략을 탐색한다.
3단계 프로세스
1단계: IR 변환 에이전트는 참조 코드를 구조화된 중간 표현(IR)으로 변환한다. IR은 데이터 의존성, persistent state scope, 스트리밍 버퍼 등을 명시적으로 포착한다. 이 단계에서 에이전트는 코드의 구조를 “이해”한다.
2단계: 정적 분석 IR을 바탕으로 에이전트는 다양한 최적화 후보를 식별한다:
- 모듈 간 스트리밍 (chunk 단위 처리)
- Co-location vs disaggregation 전략
- Intra-model 병렬화 (sequence parallelism 등)
- 배치 최적화
3단계: 측정 기반 검증 루프 각 후보는 실제로 구현되고, 애플리케이션별 테스트 하네스를 통해 벤치마킹된다. 에이전트는 측정 결과를 보고 다음 후보를 결정한다. 이것이 핵심이다 — 추측이 아니라 측정으로 결정한다.
왜 Naive 프롬프팅은 실패하는가
논문의 케이스 스터디가 흥미롭다. 대화형 아바타 에이전트(ASR → LLM → TTS → Sound-to-Video)를 최적화할 때:
- Naive 에이전트: 일부 최적화 축은 발견하지만, 조합을 놓친다. 예를 들어 TTS의 chunk 단위 출력과 S2V의 자기회귀 처리를 결합하는 전략을 떠올리지 못한다.
- FlashRT 에이전트: IR 분석을 통해 두 최적화 축을 모두 식별하고, 검증 루프에서 조합이 처음에는 실패하더라도 디버깅하고 재시도한다.
이 차이는 단순한 성능 gap이 아니다. 에이전트가 탐색 공간을 체계적으로 훑는지 아닌지의 문제다.
실험 결과: 5개 애플리케이션, 2개 하드웨어
NVIDIA B200 결과
| 애플리케이션 | 지연시간 단축 | 처리량 개선 |
|---|---|---|
| LiveAvatar (대화형 아바타) | ~70× | 2.8× |
| WorldPlay (비디오 월드 모델) | 최저 576ms | 29.5 FPS |
| Qwen3-Omni (음성 대화) | vLLM-Omni 대비 65% 단축 | RTF < 1.0 |
| 비디오 배경 편집기 | 대폭 단축 | 대폭 개선 |
| LongLive (스트리밍 비디오) | 대폭 단축 | 대폭 개선 |
AMD MI355X 결과
FlashRT는 B200에서와 동일한 참조 구현을 받고 처음부터 다시 최적화한다. 결과적으로:
- WorldPlay: 320ms 지연시간 (B200보다 더 낮음)
- Qwen3-Omni: 0.276s vs vLLM-Omni 0.779s
- 최대 3.6× 처리량 개선
표 3 (요약): FlashRT와 전문가 설계 vLLM-Omni 배포 비교에서 FlashRT가 지연시간과 처리량 모두에서 우수했다. Qwen3-Omni text-to-audio에서 65% 낮은 응답 지연시간을 기록했다.
AMD에서 특히 주목할 만한 점은, MI355X가 B200보다 최적화 생태계가 덜 성숙하기 때문에 에이전트 주도 최적화가 더 큰 이득을 얻는다는 것이다. 전문가의 수동 최적화가 충분히 이루어지지 않은 플랫폼일수록 FlashRT의 가치가 커진다.
형식 분석: 왜 이 문제는 NP-hard인가
FlashRT 논문은 멀티모달 배포 문제가 NP-hard임을 형식적으로 증명한다. 핵심 아이디어는 간단하다:
- 단일 배치, 의존성 없음, 통신 비용 없음, makespan 목표라는 가장 제한적인 설정에서도 이 문제는 비선점적 멀티프로세서 스케줄링으로 환원된다
- 따라서 고정된 정책으로는 최적해를 보장할 수 없다
- 에이전트가 애플리케이션 구조를 읽고 추론하는 것이 근본적으로 필요하다
논문은 또한 pipeline graph에 대한 두 가지 핵심 bound를 제공한다:
- Path bound (지연시간): critical path의 총 가중치가 지연시간의 하한을 결정
- Resource-load bound (처리량): 가장 바쁜 리소스의 총 처리 시간이 지속 가능한 배치 주기의 하한을 결정
이 두 bound 사이의 tradeoff가 바로 co-location(지연시간 최적) vs disaggregation(처리량 최적)의 근본적 긴장을 만들어낸다.
에이전트 하네스 관점에서의 의미
FlashRT는 “에이전트 하네스”라는 개념을 시스템 최적화 영역으로 확장한다. 기존 에이전트 하네스가 주로 코드 작성이나 버그 수정에 집중했다면, FlashRT는 하네스를 인프라 최적화 도구로 사용한다.
핵심 통찰은 두 가지다:
-
구조화된 워크플로가 자유로운 탐색보다 낫다: 에이전트에게 “최적화해”라고 하는 것보다, IR 변환 → 분석 → 검증이라는 구조를 주는 것이 일관되게 더 좋은 결과를 낳는다.
-
측정 기반 루프가 추론만 하는 것보다 낫다: 에이전트가 후보를 구현하고 실제로 벤치마킹하는 과정은, 순수 추론으로 최적해를 찾는 것보다 훨씬 신뢰할 수 있다.
이것은 단순히 시스템 논문의 기술적 디테일이 아니다. 에이전트 하네스를 설계하는 모든 사람에게 해당되는 교훈이다.
더 실습해보고 싶은 분들께
에이전트 하네스와 자동화 루프에 관심이 있다면, 다음 두 자료를 추천한다:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스를 실제로 구성하고 활용하는 50가지 사례
- 「모두를 위한 루프 엔지니어링」 — 에이전트 루프 설계와 최적화의 실습 강좌
마무리
FlashRT가 보여주는 것은 단순한 성능 숫자가 아니다. 에이전트가 인프라 최적화라는 NP-hard 문제를 구조화된 하네스 안에서 풀 수 있다는 증명이다. chain-of-program 패러다임, 측정 기반 검증 루프, 그리고 애플리케이션별 테스트 하네스 설계 — 이 세 가지가 결합되면, 전문가가 몇 주 걸려 할 최적화를 에이전트가 자동으로 수행할 수 있다.
특히 AMD MI355X에서의 결과가 시사적이다. 최적화 생태계가 덜 성숙한 플랫폼일수록, 에이전트 주도 최적화의 가치가 더 커진다. 이것은 하드웨어가 다양해지는 시대에 에이전트 하네스가 가지는 전략적 의미이기도 하다.
논문: FlashRT: Agent Harness for Guiding Agents to Deploy Real-Time Multimodal Applications 저자: Krish Agarwal, Zhuoming Chen, Yanyuan Qin, Zhenyu Gu, Atri Rudra, Beidi Chen (CMU · AMD · University at Buffalo) 코드: GitHub