AI 에이전트에게 연구를 맡기면 어떻게 될까 — 6일과 3천 달러를 줬더니 엔지니어링은 했지만 연구는 못 했다

원 논문: Can AI agents conduct open-ended AI research? Early evidence from two case studies — Kirgis, Kapoor, Schwartz et al. (Princeton, Stanford, Georgetown, UK AI Security Institute 등), 2026년 7월

AI 에이전트는 코딩과 실험을 완벽하게 해내면서도, 정작 “무엇이 중요한 질문인가”를 판단하지 못한다. Princeton의 Arvind Narayanan팀이 미공개 NeurIPS 2026 논문 두 편의 연구 질문을 에이전트에게 맡기고 6일, 3,000달러의 API 크레딧, GPU 리소스를 제공했다. 에이전트는 모든 엔지니어링을 자율적으로 완수했지만, 두 논문 모두 명확한 거절(reject) 판정을 받았다. “그림자 평가(shadow evaluation)“라는 새로운 방법론이 지금의 AI 연구 자동화가 도달한 진짜 한계를 드러낸다.

그림자 평가(Shadow Evaluation)가 뭐고 왜 필요한가

기존 AI R&D 자동화 평가는 두 가지로 나뉜다. 하나는 검증 가능한 작업(verifiable tasks): RE-Bench, MLE-Bench, PostTrainBench처럼 고정된 지표를 올리는 것이다. 객관적이고 반복 가능하지만, “열린 결합형 연구(open-ended research)“의 본질인 가설 선택, 증거 설계, 접근법 전환 등을 평가하지 못한다.

다른 하나는 블라인드 동료 심사(blind peer review): Sakana의 AI Scientist-v2가 ICLR 워크숍에, Intology의 Zochi가 ACL 2025 메인에 논문을 통과시킨 사례가 있다. 하지만 NeurIPS 자체 분석에 따르면 심사 위원회를 바꾸면 약 1/4의 논문이 accept/reject이 뒤바뀐다. AI 생성 논문이 범람하는 상황에서는 더욱 불투명해진다.

이 논문이 제안하는 그림자 평가는 제3의 길이다:

아직 공개되지 않은 고품질 논문(NeurIPS 2026 제출)의 핵심 연구 질문을 가져온다
에이전트에게 그 질문을 주고 충분한 자원(시간·API·GPU)을 제공한다
원 논문의 저자들이 에이전트의 결과물을 심사한다

원 논문 저자는 그 질문에 수개월을 쓴 전문가이므로, 누구보다 정확하게 판별할 수 있다. 그리고 논문이 웹에 없으므로 훈련 데이터 오염도 없다.

Figure 1: 에이전트의 시간·API·GPU 자원 사용 궤적 — Personas와 TabPFN 두 실험 모두에서 예산의 절반도 쓰지 않고 종료되었음이 드러난다.

실험 설계: 에이전트에게 무엇을 주었나

두 개의 미공개 NeurIPS 2026 제출 논문이 사용되었다:

Personas 논문 (UK AI Security Institute): LLM 페르소나의 구조와 제어 가능성 연구. 실험 도중 공개됨 (Baines et al., 2026)
TabPFN 논문 (University of Toronto): 테이블러 기초 모델(table foundation model)을 위한 분포 이동 감지기 설계

에이전트 환경:

모델: Claude Opus 4.8 (extra-high reasoning)
하네스(스캐폴드): OpenClaw — 모델 제공자에 독립적인 범용 에이전트 루프
시간: 6일(120시간) + 24시간 연장
API 예산: $3,000 (Anthropic)
GPU: 실제 실험용 크레딧 별도
도구: Linux VM, 오픈 웹, AI 리뷰 도구(Stanford Agentic Reviewer, CMU Paper Reviewer, refine.ink), 자체 리뷰 서브에이전트
견고성 확인: TabPFN 실험을 GPT-5.6 Sol Ultra + Codex로 재실험

에이전트는 인간의 개입 없이 문헌 조사, GPU 환경 디버깅, 수백 시간의 실험 실행, 외부 리뷰 획득, LaTeX 컴파일까지 전부 수행했다. 인간 개입은 단 세 번이었고, 모두 물류적 문제(버그 수정, 마감 연장, 가독성 개선 요청)였다.

결과: 두 논문 모두 거절

평가 기준	Personas	TabPFN	요약
품질(Quality)	2/4	1/4	비원칙적 데이터·실험 선택; 결론이 증거를 따르지 않음
명확성(Clarity)	1/4	2/4	밀도 높고 불분명한 글; 중요한 것이 안 보임
중요성(Significance)	2/4	2/4	선행 연업 대비 정당화 부족
독창성(Originality)	3/4	2/4	새로운 데이터셋과 일부 새 방법이지만, 기본적으로 선행 연구에 의존
종합	2/6	1/6	둘 다 명확한 거절
신뢰도	4/5	5/5	두 리뷰어 모두 확신

UK AI Security Institute의 David Africa는 Personas 에이전트 논문에 대해 이렇게 썼다:

“실험과 방법론적 선택이 기묘하고 이해하기 어렵다. 결과는 사후적 선택(post hoc choices)의 산물처럼 보인다.”

University of Toronto의 Viet Nguyen은 TabPFN 에이전트 논문을 이렇게 평가했다:

“PFN의 내부를 활용한 몇 가지 신호가 실패했다고 해서 ‘모델 내부를 활용할 수 있는 신호는 없다’로 가는 건 엄청난 도약이다. 전형적인 ‘예시에 의한 증명’ 오류다.”

다섯 가지 실패 패턴

로그 분석을 통해 다섯 가지 반복적 실패 패턴이 식별되었다.

1. 연구 기준에 대한 판단 부족 (Lack of judgment about the bar)

에이전트는 가장 야심참 가설에서 시작했다. 그런데 소규모 합성 데이터나 손으로 고른(hand-picked) 예시로 테스트하다가 null 결과가 나오면, 즉시 그 가설을 폐기했다. Personas 실험에서 에이전트는 3가지 방법을 평가하고 36~48시간을 쓰라고 계획했지만, 첫 번째 방법에서 기본적인 양성 결과가 나오자 5시간 만에 탐색을 끝냈다.

TabPFN 실험에서는 14시간 만에 6가지 접근법을 전부 폐기하고, 남은 110시간 동안 접근법을 단 한 번도 근본적으로 바꾸지 않았다.

2. 창의적 문제 해결 부족 (Uncreative responses to shortcomings)

초기 가설은 원 논문 저자들도 “합리적이고 흥미롭다”고 평가했다. 문제는 가설이 반증되었을 때였다. 인간 연구자라면 실험 설계를 바꾸거나, 질문을 다시 프레이밍하거나, 더 강력한 테스트를 구성할 것이다. 에이전트는 그 대신 캐비닛을 좁히고 단서를 추가했다.

수십 번의 AI 리뷰가 “핵심 결함”을 지적했음에도, 에이전트는 마이너한 코멘트에 반응하거나 가설을 더 보수적으로 만들었다. 결과는 “새로운 아이디어가 있는 논문”이 아니라 “극도로 철저한 부정 결과 논문”이 되었다.

Figure 3: 자기 리뷰, 외부 AI 리뷰, 인간 전문가 리뷰 비교. 에이전트의 자기 리뷰는 15라운드 동안 단 한 번도 accept를 내리지 않았지만, 에이전트는 이를 접근법 전환 신호로 해석하지 않았다.

3. 비효과적인 백트래킹 (Ineffective backtracking)

에이전트는 국소적으로는 백트래킹을 했다: 실험을 다시 실행하고, AI 리뷰에 대응해 강건성 검사를 추가했다. 하지만 프로젝트 수준에서 접근법을 버리고 처음부터 다시 시작한 적은 단 한 번도 없었다.

서브에이전트를 깨끗한 컨텍스트로 스폰할 수 있는 도구가 있었고, 실제로 다른 목적으로는 routinely 사용했다. 하지만 “실패한 접근법을 버리고 재시작”하는 데에는 사용하지 않았다.

4. 자원 인식 부족 (Poor resource awareness)

이것이 가장 직관에 반하는 결과다. 두 실험 모두 API 예산의 절반도 쓰지 않고 종료되었다.

Personas: $3, 000 중$ 1,130 사용 (37.7%)
TabPFN: $3, 000 중$ 1,235 사용 (41.2%)

에이전트는 자신의 사용량을 실시간으로 확인할 수 있었다. 마감 시간도 알고 있었다. 그럼에도 Personas 에이전트는 마감 7시간 전에 스스로 프로젝트 완료를 선언했다. 마지막 자기 리뷰가 또 “Weak Reject”을 반환한 직후였다.

인간 연구자라면 남은 시간을 전부 논문 개선에 썼을 것이다. 에이전트는 자신이 시간당 할 수 있는 일의 양을 직관적으로 파악하지 못한다. PostTrainBench 리더보드에서도 GPT-5.5가 “시간 예산이 끝나기 전에 중단할 때마다 수동으로 프롬프트하여 계속 진행”시켰다는 기록이 있다. 이것은 이 논문만의 문제가 아니다.

5. 명령 표류 (Instruction drift)

에이전트는 실행 시간이 길어질수록 명시적 지시사항을 점점 더 잘 따르지 못했다. 논문 길이 제한, 탐색에 써야 하는 최소 시간, refine.ink 리뷰 사용 규칙 등을 어겼다. 두 논문 모두 9페이지 제한인데 10페이지까지 넘어갔다.

이것은 컨텍스트 창 관리 문제와 관련이 있다. 며칠에 걸친 프로젝트에서 에이전트는 컨텍스트 창을 능동적으로 관리해야 한다. 중요한 정보를 유지하고, 압축(compaction)이 일어날 때 핵심 지시사항이 사라지지 않도록 해야 한다. 현재의 에이전트는 이 작업에 미숙하다.

에이전트가 잘한 것

실패만 있는 것은 아니었다. 엔지니어링 역량은 놀라웠다.

문헌 조사: 수백 편의 논문을 검색하고 정리
GPU 디버깅: 크래시 루프를 일으키는 시스템 디렉토리 문제를 자체 해결
실험 실행: Qwen 3B~14B, Llama-3 등에서 수십 시간의 GPU 실험을 자율 실행
외부 리뷰 획득: 브라우저로 Stanford Agentic Reviewer에 논문을 제출하고 Gmail에서 결과를 추출
논문 작성: LaTeX 컴파일, 참고문헌 관리, 캠라레디 포맷 생성
과학적 윤리: 가설을 사전 등록하고, 부정 결과를 있는 그대로 보고. 보상 해킹(reward hacking)이나 p-hacking 증거 없음

원 논문 저자들은 에이전트의 초기 가설이 자신들의 초기 접근법과 유사했다고 평가했다. 에이전트는 또한 Personas 논문에서 한 가지 잠재적으로 흥미로운 반직관적 결과를 발견했다: narrow finetuning이 misaligned style에만 적용될 때, broad misgeneralisation으로 이어지지 않는다는 것이다.

Figure 4: 인간의 가독성 개선 요청 전후 논문 비교. 에이전트가 자율적으로 작성한 논문은 읽기 어려웠으나, 한 번의 명시적 개선 요청 후 크게 향상되었다.

GPT-5.6 Sol Ultra + Codex로 재실험한 결과

“스캐폴드 탓(scaffold overhang)“이라는 반론을 방지하기 위해, TabPFN 실험을 GPT-5.6 Sol Ultra + Codex(네이티브 스캐폴드)로 다시 실행했다.

결과는 유사했다:

비원칙적 실험 설계 재현
새로운 기여 부족
잘못된 포맷의 논문
자원 관리 실패 (단, 이번에는 시간이 아닌 토큰을 먼저 소진: $3,000를 이틀 만에 다 쓰고 100시간이 남음)

한 가지 개선은 있었다: OpenClaw 실험에서는 합성 데이터만 쓴 반면, Codex 에이전트는 실제 분포 이동 데이터셋을 찾아서 사용했다.

이러한 견고성 확인 결과는 실패 패턴이 특정 모델이나 스캐폴드의 문제가 아니라, 현재 프론티어 모델 전반의 구조적 한계를 반영함을 시사한다.

왜 중요한가: 재귀적 자기개선 논쟁

이 논문의 함의는 단순히 “현재 에이전트가 연구를 못 한다”가 아니다. 더 깊은 질문은 **재귀적 자기개선(recursive self-improvement)**의 전제에 대한 것이다.

Anthropic은 “When AI Builds Itself”라는 포스트에서 Claude의 “열린” Claude Code 세션에서의 성공률 상승을 자기개선의 증거로 인용했다. OpenAI는 GPT-5.6 Sol이 작은 모델의 포스트트레이닝을 도와 연구원의 “수주”를 절약했다고 홍보했다.

하지만 이 논문이 보여주는 것은 검증 가능한 작업(verifiable tasks)과 열린 연구(open-ended research) 사이의 거리다. 코딩 에이전트는 SWE-bench에서 높은 점수를 받고, iOS 앱을 자율 배포하고, 모델 훈련 코드를 최적화한다. 그런데 연구 질문에 직면하면:

무엇이 중요한 질문인지 판단하지 못한다
실패한 접근법에서 벗어나지 못한다
자신의 한계를 인식하지 못한다
지시사항을 점진적으로 잊는다

“언덕 오르기(hill-climbing)“가 가능한 영역과 그렇지 않은 영역의 경계가 바로 여기에 있다. 그리고 이 경계의 위치는 재귀적 자기개진 타임라인을 논의할 때 핵심적이다.

한계와 주의점

저자들도 이 평가의 한계를 명확히 밝힌다:

샘플 크기: 두 편의 논문, 다섯 번의 실행(파일럿 2회 + 메인 2회 + 견고성 1회)
비블라인드 리뷰: 원 논문 저자가 AI 생성물임을 알고 리뷰
질문 선택 편향: 두 논문은 경험적 NeurIPS 수준의 연구를 대표하지만, 다른 유형의 AI 연구로 일반화할 수 없을 수 있음
스캐폴드 한계: OpenClaw의 Anthropic 호환성 버그로 인해 세션 리셋이 다수 발생 (Personas 5회, TabPFN 14회)

하지만 핵심 실패 패턴은 다섯 번의 실행에서 일관되게 나타났고, 서로 다른 모델·스캐폴드 조합에서도 재현되었다.

시사점

엔지니어링 ≠ 연구: 에이전트는 코딩·실험·디버깅을 자율적으로 수행하지만, 연구 설계·가설 선택·접근법 전환에서는 구조적으로 실패한다. “AI가 AI 연구를 자동화한다”는 명제는 작업의 종류에 따라 참이거나 거짓이다.
자원 활용의 역설: 에이전트는 자원을 “모자라서”가 아니라 “남아서” 실패한다. 이것은 프롬프트 엔지니어링으로 해결할 수 있는 문제가 아니라, 에이전트의 자원 추론(resource reasoning) 능력 자체의 한계를 가리킨다.
검증자-생성자 갭(Generator-verifier gap): AI 리뷰 도구는 일관되게 논문을 거설했지만, 에이전트는 이를 활용해 근본적 개선을 하지 못했다. 검증 능력과 생성 능력 사이의 갭은 RL 포스트트레이닝의 핵심 병목이다.
“열린” 작업에서의 평가가 필요하다: 그림자 평가는 검증 가능한 벤치마크와 블라인드 심사를 보완하는 제3의 축이다. 더 많은 논문, 더 다양한 분야에서의 추적 실험이 필요하다.
컨텍스트 관리가 하네스의 책임이다: 명령 표류(instruction drift)는 다일급 컨텍스트 관리의 실패이며, 이는 에이전트 하네스 설계에서 해결해야 할 구조적 과제다.

저자들은 Opus 5, Fable 5, 그리고 더 최적화된 스캐폴드로 후속 실험을 계획하고 있다.

더 실습해보고 싶은 분들께

에이전트 루프, 컨텍스트 관리, 도구 활용 같은 주제를 직접 실험해보고 싶다면 두 가지 자료를 추천합니다:

『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스와 자동화 루프를 실제로 구성해보는 50가지 사례
「모두를 위한 루프 엔지니어링」 — 에이전트 루프 설계와 컨텍스트 엔지니어링의 실전 강의

원문: Kirgis, P., Kapoor, S., Schwartz, A., et al. “Can AI agents conduct open-ended AI research? Early evidence from two case studies.” arXiv:2607.27191, 2026.

코난쌤 블로그

탐색기