GPU 커널을 최적화하던 중에 쌓은 경험이, 수학의 미해결 문제를 푸는 데 도움이 될 수 있을까? 직관적으로는 “그럴 리 없다”가 정답처럼 보인다. 영역이 다르고, 문제 구조가 다르고, 쓰는 도구도 다르니까.
그런데 Evolution Fine-Tuning(이하 EFT)을 제안한 이 논문은, 바로 그 질문에 “그렇다”라고 대답한다. 진화 탐색(evolutionary search) 과정에서 얻은 궤적(trajectory)을 학습 데이터로 바꿔서, LLM이 “문제를 풀 때마다 처음부터 시작하는 게 아니라, 이전 경험에서 배운 전략을 끌어와서 쓸 수 있다”는 것을 보여준다.
인터뷰 형식으로 이 논문의 핵심을 풀어본다. 편집자가 묻고, Finch 연구진이 답하는 구조다.
“발견”이라는 말이 묘하게 들립니다. AI가 뭘 발견한다는 건가요?
Finch 연구진: 풀어서 말씀드리면, “이전에 누구도 시도해 보지 않은 더 나은 해답을 찾는 것”입니다. 예를 들어 Erdős 최소 중복 문제 같은 70년 된 수학 추측이 있습니다. 정답이 컴퓨터로 계산되는 게 아니라, 후보 해답의 품질을 점수로 매기고, 그 점수를 계속 올려가며 더 좋은 해답을 찾아가는 거죠. GPU 커널 설계, 과학 법칙 발견, 조합 최적화 퍼즐도 같은 구조입니다. 정답을 “계산”하는 게 아니라, “진화”시키는 문제들입니다.
기존에는 이런 문제를 풀 때 LLM을 진화 탐색 프레임워크 안에 넣어서 돌렸어요. 프레임워크가 “이 후보를 이렇게 바꿔봐”라고 지시하면, LLM이 변이(mutation)를 제안하고, 평가자가 점수를 매기고, 더 나은 것을 살아남게 하는 거죠. AlphaEvolve, OpenEvolve 같은 시스템들이 그런 방식으로 새로운 최고 기록(SOTA)을 만들어냈습니다.
문제는 뭡니까?
연구진: 모든 게 “1회성”이라는 겁니다. 새로운 문제를 주면 모델이 처음부터 다시 시작합니다. 이전 문제에서 무엇을 배웠든, 그 경험은 프레임워크 안에 머물 뿐 모델 자체에 스며들지 않아요. 발견하는 능력이 모델이 아니라 프레임워크에 있으니까요.
소형 오픈소스 모델(9B 이하)은 더 심각합니다. 진화 탐색 프레임워크가 요구하는 수준의 일관된 고품질 변이를 제안하려면, 보통 GPT-4나 Gemini 같은 상용 대형 모델이 필요합니다. 작은 모델은 프레임워크 안에서 “따라가지 못하고” 성능이 크게 떨어집니다.
그래서 EFT가 정확히 뭘 하시는 건가요?
연구진: 한마디로, 진화 탐색의 궤적을 학습 데이터로 바꿔서 모델 안에 “발견하는 능력”을 주입하는 미드트레이닝입니다.
구체적으로는 이렇습니다. OpenEvolve라는 오픈소스 진화 탐색 프레임워크 안에서, Qwen3.5-397B라는 대형 모델을 변이 연산자(mutation operator)로 써서, 371개의 최적화 과제에 대해 탐색을 돌립니다. 그 과정에서 나오는 모든 “부모 해답 → 자식 해답” 전이(transition) 기록을 저장합니다. 프롬프트, 이전 히스토리, 평가 결과, 점수 변화까지 전부요.
그 궤적들을 정제해서 — 원래 172,997개에서 오류가 있거나 학습에 방해가 되는 것을 걸러내고 — 156,731개를 남깁니다. 이걸 Finch Collection이라고 부릅니다. 그리고 이걸로 2B~9B 소형 오픈소스 모델을 파인튜닝하면, Finch-{2, 4, 8, 9}B가 탄생합니다.
“EFT는 발견 에이전트를 위한 ‘연습 단계(practice phase)’ 역할을 합니다. 처음부터 새로 푸는 게 아니라, 이전에 배운 전략을 재사용하는 거죠.”
핵심은 이겁니다: 일반적인 SFT가 (문제, 정답) 쌍을 외우게 하는 거라면, EFT는 (진화 상태, 다음 변이) 쌍을 통해 “이런 상황에서는 이렇게 바꿔보는 게 효과적이었다”라는 전략적 직관을 가르치는 겁니다.
371개 과제라는 규모가 중요한 건가요?
연구진: 네, 이게 핵심 중 하나입니다. 기존 진화 탐색 연구는 한 번에 하나의 과제만 다뤘어요. ThetaEvolve나 TTT-Discover 같은 test-time learning 방법도 단일 과제에 특화됩니다. 우리는 10개 도메인에 걸쳐 371개 과제를 모았어요.
도메인을 보면: AlphaEvolve의 수학 발견 문제, FrontierCS 경쟁 프로그래밍, ALE-Bench, AlgoTune, GPU Mode, LLM-SRBench, scRNA-seq 노이즈 제거, Erdős 문제 변형까지. 전부 “후보를 점수로 평가할 수 있지만 정답을 직접 계산할 수 없는” 문제들입니다.
그리고 이 과제 수를 15개에서 355개로 늘렸더니, 학습하지 않은 held-out 과제에서 평균 14.1% 성능 향상이 있었습니다. 즉 다양한 문제를 풀어본 모델이 새로운 문제도 더 잘 푼다는 거죠.
가장 흥미로운 결과가 뭡니까?
연구진: “전략 이동(strategy transfer)“이 관찰된 거죠. 경쟁 프로그래밍 문제(CALICO, UC Berkeley 대회)를 풀 때, 베이스 모델은 한 가지 전략만 반복합니다 — 가우스-자이델 균일 가중치 같은 거요. EFT를 적용한 Finch는 달랐습니다. 추천 시스템에서 배운 log-domain 교대 최소제곱법, 수치 최적화에서 배운 Levenberg-Marquardt법을 조합해서 문제를 풉니다. 서로 다른 도메인의 전략을 섞어 쓰는 거죠.
이게 왜 놀라운가 하면, 이 전략들을 누가 “이렇게 조합해라”라고 가르친 게 아니라는 거예요. 진화 탐색 궤적을 학습하다 보니 모델이 스스로 떠올린 거죠. 이건 뭔가 “창발적(emergent)“이라고 볼 수 있습니다.
숫자로 보면: 22개의 held-out 과제에서 Finch는 베이스 모델을 평균 10.22% 앞섰습니다. 그리고 test-time RL을 결합하면, 원 서클 패킹(circle packing) 두 과제에서 SOTA와 동등한 성능을 냈고, Erdős 최소 중복 문제에서도 베이스를 능가했습니다.
“진화 궤적을 학습 데이터로 쓴다”는 게, 좋은 것만 배우는 건가요?
연구진: 좋은 질문입니다. 실제로 이 부분이 논문에서 꽤 까다로웠어요. 진화 탐색 궤적에는 실패도 많이 포함되어 있거든요. 타임아웃, 문법 에러, 평가기 크래시, 부모는 괜찮은데 자식이 망가지는 경우까지.
우리는 세 단계로 필터링했습니다. 첫째, 평가 결과가 신뢰할 수 없거나 점수 변화를 계산할 수 없는 궤적(6,321개, 3.7%)을 뺐습니다. 둘째, 부모와 자식 둘 다 에러인 “불가복구(unrecoverable)” 케이스(294개)와, 괜찮은 부모에서 에러가 발생한 “파손(breakage)” 케이스(1,281개)를 뺐습니다. 이런 것들이 학습 신호를 불안정하게 만들거든요. 셋째, 너무 긴 입력은 잘라냈습니다.
172,997개 원본 궤적 → 156,731개 학습 데이터 (90.6% 유지)
그리고 학습 데이터를 만들 때, 점수가 오른 변이(Improvement), 점수가 같은 변이(Neutral), 점수가 내려간 변이(Regression)를 다 포함합니다. 발견이라는 건 항상 “더 좋아지는” 방향으로만 가는 게 아니라, 막다른 길을 탐색하고 되돌아가는 과정도 필요하니까요.
이 연구가 가리키는 방향이 궁금합니다.
연구진: 지금 AI 에이전트 연구의 대부분은 “특정 과제를 잘 푸는 에이전트”를 만드는 데 집중합니다. 코드를 잘 짜는 에이전트, 논문을 잘 리뷰하는 에이전트, 웹을 잘 탐색하는 에이전트. 각각 따로 만들고 따로 평가하죠.
EFT가 제안하는 건 다른 방향입니다: “발견 자체를 하나의 능력으로 보자.” 수학 문제를 풀든, GPU 커널을 최적화하든, 과학 법칙을 찾든, 그 안에는 공통되는 무언가가 있습니다. “이 부분을 바꿔보자”, “이 전략은 여기서 안 통하니까 다른 걸 시도해보자”, “이 두 접근을 섞어보자” 같은 직관이요. 그 직관을 모델 안에 넣을 수 있다면, 처음 보는 문제도 처음부터 시작하지 않는 에이전트를 만들 수 있습니다.
물론 아직 한계가 있습니다. 371개 과제가 많아 보이지만, 발견의 우주에 비하면 좁습니다. Teacher 모델(Qwen3.5-397B)의 품질이 Finch의 상한선을 정합니다. 그리고 “전략 이동”이 관찰되긴 했지만, 이것이 언제, 어떤 조건에서 일어나는지를 정확히 예측하기는 아직 어렵습니다.
그럼에도 불구하고, 이 논문이 던지는 질문은 분명합니다: 발견은 특권인가, 학습 가능한 능력인가? Finch의 결과는 후자에 손을 들어줍니다. 그리고 그 질문 하나가, AI 에이전트 연구의 지도를 바꿀 수 있다고 생각합니다.
본 글은 arXiv:2606.29082 “Evolution Fine-Tuning: Learning to Discover Across 371 Optimization Tasks” (Kim et al., 2026)를 기반으로 작성되었습니다. Finch 모델과 Finch Collection은 오픈소스로 공개될 예정입니다.