원문: Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering — Horizon Research & Frontis.AI, 2026년 7월 30일.
35B 파라미터 모델이 12시간의 GPU 예산 안에서 GPT-5.5+Codex를 넘고, 2.8T Kimi K3에 근접한다. 이 결과는 더 큰 모델이 아니라 더 똑똑한 훈련·검색 루프에서 나온다. Frontis-MA1은 “AI가 AI를 만드는” AI4AI의 구체적 실행 사례이며, 재귀적 자기개선(RSI)으로 가는 길의 첫 마일스톤을 제시한다.
문제: AI가 AI를 개선한다는 것의 의미
재귀적 자기개선(RSI)은 AI 연구의 오랜 꿈이다. 각각의 개선된 시스템이 다음 시스템을 더 빠르게 만드는 루프. 하지만 이것은 단순히 “더 똑똑한 모델”을 만드는 것과 다르다. 데이터를 검사하고, 알고리즘을 제안하고, 실험을 실행하고, 실패를 진단하고, 다음 컴퓨팅을 어디에 쓸지 결정하는 에이전트가 필요하다.
머신러닝 엔지니어링(MLE)은 이것의 가장 구체적인 테스트베드다. Kaggle 문제를 주고, 에이전트가 코드를 작성하고, 실행하고, 피드백을 받아 개선하는 과정을 반복하게 한다. 점수가 명확하고, 실행 결과가 검증 가능하며, 실제 컴퓨팅 비용이 든다.
Frontis.AI 팀은 이 문제를 “메타 진화(meta-evolution)“라는 관점으로 정식화한다: 진화적 탐색 궤적에서 얻은 경험을 SFT와 RL로 다시 모델에 주입하여, **모델 자체가 더 나은 변형 연산자(variation operator)**가 되게 만드는 것.
OpenMLE: 풀스택 RSI 연구 인프라
이 연구의 핵심 기여는 단일 모델이 아니라 OpenMLE라는 전체 스택이다. 세 계층으로 구성된다:
1. OpenMLE-Gym: 5,758개의 검증 가능한 실행 환경
기존 MLE 벤치마크(MLE-Bench 75개, MLE-Dojo 606개, DSBench 74개)와 비교해 한 자릿수 더 많은 태스크를 제공한다. 세 소스에서 구축된다:
- Curated Anchors (156개): 논문과 벤치마크에서 수동 선별 — 품질은 최고지만 규모가 제한적
- Kaggle Datasets (3,362개): MLE-Smith 파이프라인 확장 — 넓은 커버리지, 변동 품질
- Kaggle Competitions (2,240개): 자동 구축 파이프라인 — 균형 잡힌 품질과 규모
각 태스크는 다섯 요소를 갖는 환경 인스턴스다: 태스크 명세, 공개 데이터, 히든 평가기, 리소스 예산, 샌드박스 실행 환경. 에이전트가 제출한 코드를 도커 워커에서 실행하고, 구조화된 피드백(성공, 런타임 에러, 누락, 타임아웃 등 6가지 모드)을 반환한다.
Tabular 44%, Image 18%, Time Series 13%, Text 9% — 분류가 56%, 회귀가 31%를 차지한다.
2. OpenMLE-ERL: 실행 기반 강화학습으로 연산자 훈련
여기서 핵심 설계 결정이 나온다. OpenMLE는 전체 궤적을 훈련시키지 않고, 네 개의 원자적 연산자를 훈련한다:
- Draft: 처음 코드 생성
- Improve: 기존 솔루션 개선
- Debug: 에러 수정
- Crossover: 두 부모 솔루션의 유전자 결합
이 연산자들은 훈련(SFT+RL)과 추론(검색) 양쪽에서 동일한 인터페이스로 사용된다. 훈련에서 검증된 변형이 검색에서 재조합되고, 학습된 모델이 진화 하네스의 변형 엔진이 된다. 이것이 “메타 진화 루프”다.
SFT 단계: 강한 교사 모델의 궤적에서 유효하고 고득점인 프로그램을 선별. 병렬 경로(17,245개 Draft 예제)와 진화 경로(9,014개 궤적 단계 예제)를 합쳐 26,259개 예제의 코퍼스를 구축. 예산 적응型 수집으로 쉬운 태스크는 일찍 종료, 어려운 태스크에 더 많은 시도를 할당.
RL 단계: 세 가지 기술적 혁신이 있다.
-
적응型 보상 정규화: 태스크마다 점수 범위가 다르다 (정확도 vs log loss). 고정 임계값이 아니라 태스크의 온폴리시 점수 프론티어에서 적응적 경계를 도출하여, 의미 있는 보상 분해능을 유지.
-
엔트로픽 어드밴티지: GRPO의 균등한 그룹 정규화가 아니라, 상위 꼬리(upper tail)에 학습 신호를 집중. “겨우 통과한 제출”과 “최고 제출”의 차이를 증폭시킨다.
- 비동기 롤아웃: 가장 느린 샌드박스 잡을 기다리지 않고, 완료된 그룹부터 즉시 훈련에 투입.
부모 선택은 점수(reward), 자식-보상 분산(child-reward variance), 방문 냉각(visit cooling) 세 항의 가중합으로 결정된다:
F(p) = norm(R_p) + norm(Var_child(p) R_c) + norm(C_p)
강한 부모를 활용하되, 아직 학습 신호가 남아있는 영역을 탐색하고, 과도한 방문을 억제한다.
3. OpenMLE-Evo: 경험 기반 장시간 검색
추론 시간에 OpenMLE-Evo는 진화적 탐색을 수행한다. 기존 AIRA-Evo와의 차이점:
- 구조화된 경험 축적: 각 노드의 경험 카드(experience card)에 출처, 성능, 실행 결과, 리소스 사용량을 결정론적으로 저장. 전체를 자유 형식 텍스트로 요약하지 않는다.
- 삼인자 부모 선택: 점수(quality), 부모 대비 개선(progress), 알고리즘家族의 새로움(novelty)을 결합. 단순 점수 탐욕이 아니다:
U_i = λ_s · s̃_i + λ_Δ · Δ_i + λ_n · ν_i
- 연산자 조건부 메모리: Improve, Crossover, Debug 각각에 맞는 맥락을 온디맨드로 합성. 전체 히스토리를 붙이지 않고, 조상·형제·관련 에러 시도만 검색.
결과: 39.39% → 71.21% — 21점짜리 도약
메인 결과
MLE-Bench Lite 22개 태스크, 태스크당 12시간, RTX 4090(12GB VRAM) 1대 기준:
| 시스템 | 프레임워크 | Medal Average | Human Rank |
|---|---|---|---|
| Qwen3.6-35B-A3B (베이스) | OpenMLE-Evo | 39.39% | 0.5828 |
| Frontis-MA1-35B | OpenMLE-Evo | 60.61% | 0.7647 |
| Frontis-MA1-35B | OpenMLE-Evo-Max | 71.21% | 0.8126 |
| GPT-5.5 + Codex | 일반 하네스 | 68.18% | 0.7499 |
| GPT-5.6 Sol + Codex | 일반 하네스 | 72.73% | 0.8891 |
| Kimi K3 (2.8T) + Codex | 일반 하네스 | 72.73% | 0.8574 |
동일한 OpenMLE-Evo 하네스에서 순수 포스트트레이닝만으로 21.22%p 향상. OpenMLE-Evo-Max까지 더하면 GPT-5.5+Codex를 3.03%p 앞선다. GPT-5.6 Sol과 Kimi K3(2.8T)에 근접한다 — 35B 모델이 80배 더 큰 모델과 경쟁하는 셈.
30B 동반 모델(Frontis-MA1-30B, Qwen3-30B 기반)에서도 패턴이 재현된다: 34.85% → 53.03%(OpenMLE-Evo) → 66.67%(OpenMLE-Evo-Max).
하네스 비교: 전용 검색이 일반 코딩 하네스를 이긴다
동일한 모델에 다른 하네스를 적용한 통제 비교:
- GLM-5.2: Claude Code 59.09% → OpenMLE-Evo-Max 66.67%
- MiniMax M3: Codex 54.55% → OpenMLE-Evo-Max 65.15%
- Kimi K2.6: Claude Code 59.09% → OpenMLE-Evo 66.67%
- Frontis-MA1-35B: AIRA-Evo 53.03% → OpenMLE-Evo 60.61%
일관되게 MLE 특화 검색이 이긴다. 우연이 아니다.
장시간 자기개선: 첫 해결책 이후가 진짜다
가장 인상적인 결과는 장시간 검색 궤적에서 나온다. Frontis-MA1-35B는 첫 실행 가능한 솔루션을 찾은 후에도 계속 개선한다.
- leaf-classification 태스크: Debug로 이미지·테이블 분기를 확립 → Crossover로 다중모달 융합 → Improve로 ConvNeXt-Tiny 임베딩으로 백본 업그레이드. 후반 Improve+Crossover가 **전체 검증 점수 향상의 85.0%**를 차지. 최종 Human Rank 0.9455 (Bronze 메달).
- mlsp-2013-birds 태스크: 제출 수정 후 특화된 오디오 분기를 구축 → 메모리 기반 재조합. Improve+Crossover가 전체 향상의 91.9%. 최종 Human Rank 0.8889 (Silver 메달).
이것이 의미하는 바: 추가 탐색 시간이 단순한 “더 많이 시도”가 아니라, 구조화된 재조합을 통한 지속적 진보로 전환된다는 것이다.
NatureBench Lite: 경쟁 밖으로의 전이
진짜 중요한 질문: MLE-Bench에 과적합된 것인가?
NatureBench Lite (환경 밖 홀드아웃)에서:
- 프레임워크 고정, 모델만 교체: Match-SOTA 50% → 70% (+20pp)
- 모델 고정, 프레임워크만 교체: Match-SOTA 20% → 50% (+30pp)
두 구성요소 모두 전이된다. 포스트트레이닝된 모델이 더 나은 ML 솔루션을 찾고, 진화적 검색이 추가로 끌어올린다.
왜 중요한가
이 연구는 AI4AI/RSI 연구에서 몇 가지 중요한 분기점을 보여준다:
-
연산자 훈련이 전체 궤적 훈련보다 낫다: 컨트롤러의 전체 워크플로를 학습하는 대신, Draft/Improve/Debug/Crossover라는 재사용 가능한 변형 연산자를 훈련하면, 다른 검색 알고리즘이 조합할 수 있다.
-
훈련과 검색이 상호보완적이다: 모델 포스트트레이닝(+21pp)과 경험 기반 검색(+10pp)이 독립적으로 기여하고 합쳐진다. 둘 중 하나만으로는 부족하다.
-
적응적 보상이 필수다: 고정 임계값 보상이 아니라, 온폴리시 점수 프론티어에서 동적으로 경계를 조정하고 상위 꼬리에 신호를 집중해야 RL이 효과적이다.
-
검색 경험이 학습으로 흘러들어야 한다: 단순히 더 많은 후보를 생성하는 것이 아니라, 실행 결과를 구조화된 경험으로 축적하고, 그것을 부모 선택과 메모리 합성에 활용해야 한다.
-
오픈 소스 생태계의 새로운 기준: 5,758개 실행 가능 태스크, 26,259개 SFT 예제, 훈련 코드, 하네스 코드, 모델 체크포인트를 모두 공개한다. 재현 가능한 RSI 연구의 인프라를 만든다.
한계와 과제
- 하드웨어 제약: RTX 4090 1대 기준이지만, 대규모 멀티 GPU 환경에서의 결과는 미보고.
- 경쟁형 MLE의 특수성: Kaggle 스타일의 명확한 메트릭이 있는 환경에서 작동한다. 메트릭 자체가 불분명한 연구 과제에서는 적용이 어렵다.
- 단일 백본: 주로 Qwen3.6-35B에 의존. 다른 모델家族에서의 재현성은 30B 비교로 제한적.
- 자가개선의 깊이: 현재는 “메타 진화” 단계 — 훈련된 모델이 더 나은 코드를 쓰지만, 그 코드가 다시 모델 자체를 개선하지는 않는다. 진정한 RSI는 한 단계 더 위에 있다.
논문: arXiv:2607.28568 | 프로젝트: GitHub - FrontisAI/OpenRSI
더 실습해보고 싶은 분들께
에이전트가 스스로를 개선하는 루프, 실행 피드백으로 강화학습하는 메커니즘, 그리고 이것을 실제 하네스에 적용하는 방법은 단순한 논문 읽기로는 체감하기 어렵습니다. 직접 루프를 짜보고, 컨텍스트 엔지니어링을 손으로 만져봐야 “왜 이렇게 되는지”가 보이기 시작합니다.
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 루프와 자동화를 직접 구성해보는 실습 중심의 가이드입니다.
- 「모두를 위한 루프 엔지니어링」 — 에이전트 하네스 설계와 컨텍스트 엔지니어링의 원리를 체계적으로 다루는 강의입니다.
이 논문의 “네 개 연산자 + 진화 루프” 구조는, 실제로 여러분이 만드는 자동화 파이프라인에 바로 대응되는 설계 패턴입니다.