Spark-to-Paper(arXiv:2608.11924) 정리했습니다. 전용 에이전트 플랫폼 없이, 코딩 어시스턴트 안에서 스킬 13개만으로 연구 논문을 끝까지 쓰는 시스템입니다.
구현은 Claude Code 위에서 돌아갑니다. 파일 읽기, 코드 실행, 검색, 외부 도구 호출을 어시스턴트의 기본 기능으로 그대로 재사용합니다. 오케스트레이션 서버, 그래프 DB, 클러스터 스케줄러가 필요 없습니다.
핵심 수치부터 보시면 됩니다.
| 항목 | 측정값 |
|---|---|
| 인용 유효성 | 99.5% (384개 인용, 8개 논문) |
| 그림 편집 가능 비율 | 96.4% (약 1,900개 그림 요소) |
| 조작 탐지율 | 단일 패스 14% → 전체 스택 92% |
| 어드버설리얼 리뷰 정밀도 | 74% |
| 논문 1편당 비용 | $8.1 · 11.9M 토큰 · 평균 3.2시간 |
실행 구조: 입력 라우팅과 8단계
시스템은 ts-paper 오케스트레이터가 스킬 13개를 순서대로 돌립니다. 스킬 수와 파이프라인 단계는 1:1로 대응하지 않습니다. 보조 스킬(아이디어 확장, 결과 정리, 그림 변환)이 낄 자리가 있어서요.
그림 2. Spark-to-Paper 실행 개요. 출처: 논문 Figure 2.
단계는 이렇게 됩니다.
| 단계 | 역할 |
|---|---|
| 0. 입력 라우팅 | 아이디어/제안서 구분, 결과 무결성 모드 선택 |
| 1. 기획 | 연구 질문·기여·섹션 구조·실험 설계 담은 청사진 |
| 2. 인용 | DOI·arXiv ID로 검증된 참고문헌 BibTeX 구축 |
| 3. 집필 | 청사진 + 검증 서지로 LaTeX 원고 생성 |
| 4. 정제 | 용어·표기·길이 통일 후 결정적 검사 재실행 |
| 5. 리뷰 | 다각도 고립 리뷰 패스, 반박 통과 이슈만 수정 반영 |
| 6. 그림 | 결과 플롯은 코드로, 개념도는 생성 후 코드 재구성 |
| 7. 조립 | 템플릿 적용·컴파일·미해결 인용 검사 |
| 8. 실험 실행 | 실행 가능하면 측정하고 원고에 다시 반영 |
파이프라인은 다음 작업 순서만 정하고, 수행 방법은 현재 프로젝트 상태를 보고 어시스턴트가 정합니다. 매 추론 단계를 미리 박아둔 에이전트 그래프 방식과 다른 지점이 여기입니다.
스킬끼리는 공유 프로젝트 디렉터리의 산출물로 통신합니다. 기획 스킬이 청사진을 쓰면, 인용 스킬이 검증 서지를 쓰고, 집필 스킬이 둘을 읽어 원고를 만듭니다. 파일이 곧 인터페이스입니다.
스킬 내부의 판단·실행 역할 분리
스킬 안에서 역할 분리가 하나 더 들어갑니다.
- 모델: 논증 구성, 문헌 관련성 판단, 증거-주장 정합성 판단
- 결정적 스크립트: 구조 검사, 인용 검증, LaTeX 컴파일, 측정 데이터 플롯, 파일 검사
규칙으로 명시 가능한 작업은 전부 코드로 돌리고, 해석이 필요한 결정만 모델에 남겨둡니다. 재현 가능한 검사 대상이 늘어나는 효과가 있습니다.
결과 무결성: 두 가지 모드
입력 라우팅 단계에서 측정 결과 유무에 따라 모드가 갈립니다.
- Proposal 모드: 측정 결과가 없으면 결과 테이블을 만들되, 안 채워진 수치는 비워둡니다. 모르는 값을 생성해서 채우는 걸 금지합니다.
- Data-Aware 모드: 측정 데이터가 있으면, 원고의 정량 서술은 그 데이터로 뒷받침되어야 합니다.
이 모드가 이후 단계 전체로 전파됩니다. 실험 전·후 어느 타이밍에 돌려도 같은 파이프라인이 유지됩니다.
실험 설계를 결과 관찰 전에 고정한다
Spark-to-Paper는 실험 기획과 보고를 분리합니다. 실행 전에 데이터셋, 베이스라인, 메트릭, 소거 실험, 필요한 결과 테이블 구조를 먼저 확정합니다. 표 구조는 미리 고정되고, 수치 셀은 실험이 끝나야 채워집니다.
논문용 표현을 빌리면 파이프라인 안의 가벼운 사전등록(preregistration)입니다. 증거를 보기 전에 필요한 증거를 먼저 정의하고, 실험 단계가 그 설계를 상속받습니다. 결과를 보고 나서 평가 프로토콜을 고쳐 맞추는 위험을 줄이는 장치입니다.
숫자가 원고에 들어가려면 출처가 있어야 합니다. 데이터셋, 모델 구성, 시드, 메트릭, 원본 출력까지 거슬러 올라가 추적 가능해야 넣을 수 있습니다. 추적 불가능한 수치는 비워둡니다.
검증 계층: 게이트, 셀프리뷰, 어드버설리얼 리뷰
긴 생성 과정의 오류를 두 갈래로 잡습니다.
그림 3. 결정적 게이트와 자기 비판, 수정 루프. 출처: 논문 Figure 3.
- 결정적 게이트: 템플릿 구조, 인용 정합성, 표기, 그림 파일 존재, 컴파일 성공 같이 명시적으로 검증 가능한 것. 통과해야 다음 단계로 갑니다.
- 셀프리뷰: 편집 직후 로컬로 돌아가며 용어 드리프트, 중복, 국소적 비일관성을 고칩니다.
- 어드버설리얼 리뷰: 원고 전체를 여러 고립 패스(이론·실험 설계·시스템 타당성)로 공격합니다. 제기된 이슈는 해당 구절을 인용해야 하고, “실제 문제인지, 이미 해결됐는지, 범위 밖인지” 3방향 검사를 통과한 것만 살아남습니다. 반박 가능한 이슈는 버립니다.
리뷰는 새 이슈가 더 안 나올 때까지 반복됩니다.
Self-Refutation Loop은 7회에 묶는다
논문이 새로 명명한 실패 모드가 Self-Refutation Loop입니다. 실험→비판→수정 사이클을 도는데, 매번 “내 결과가 원래 가설을 못 떠받친다”는 결론만 반복하면서 같은 방향을 계속 고치는 상황입니다.
생산적 반복과 다른 점은 수렴입니다. 생산적 반복은 구체적 약점을 해소하며 결론에 다가가는데, 이 루프는 같은 자기부정만 반복하며 원고와 실험이 계속 흔들립니다.
대응은 단순합니다.
- 실험–비판–수정 사이클 상한을 7회로 제한
- 상한 후에도 안 되면 해당 궤적 종료
- 시도한 방법·결과·부족한 이유를 담은 실패 보고서로 보존
- 새 아이디어로 전체 파이프라인 재시작
모든 연구 방향을 성공시키려 들지 않습니다. 실패도 연구 결과물로 남기고 넘어갑니다.
그림 생성: 결과 플롯과 개념도의 두 경로
그림 4. 역할별 편집 가능 그림 생성. 출처: 논문 Figure 4.
- 결과 그림: 측정 데이터에서 플롯 코드로 직접 생성. 값이 측정에 묶여 있고 벡터 PDF로 나옵니다.
- 개념도·시스템 다이어그램: 이미지 생성 모델로 시각 목표를 만들고, 그걸 HTML로 재구성한 뒤 렌더 대조를 반복해서 벡터 PDF로 바꿉니다. 재구성이 안 되면 래스터로 폴백.
생성형 이미지는 “보고서의 그림”이 아니라 “재구성할 원본 사양”으로 씁니다. 그래서 96.4%의 그림 요소가 편집 가능한 형태로 나옵니다. 비트맵을 박아두는 기존 자동 연구 시스템과 갈리는 지점입니다.
측정 결과
주 비교에서 인용 유효성 99.5%는 비교 대상 중 최고입니다. 기존 자율 연구 시스템(AI Scientist, AI Scientist-v2, Agent Laboratory)이 공개한 논문 산출물을 감사한 값은 91~96%, 단일 패스 베이스라인은 81%입니다.
소거 실험에서 품질 스택의 기여가 분리됩니다. 조작 탐지용으로 10개 실패 계열·3개 출처의 시드 프로브 36개를 동일 지점에 주입했습니다.
표 4. 품질 스택 소거 실험. 출처: 논문 Table 4.
| 구성 | 조작 탐지율 |
|---|---|
| 단일 패스 | 14% |
| + 게이트 | 69% |
| + 셀프리뷰 | 81% |
| + 어드버설리얼 리뷰 | 92% |
리뷰 정밀도는 74%입니다. 리뷰가 제기한 이슈 60개 중 “판단 불가” 3개를 제외한 57개를 블라인드 평가한 값입니다. 제기 대부분이 실제 검증 가능한 문제였다는 뜻입니다.
비용은 게이트가 증분 비용이 가장 크고, 셀프리뷰·어드버설리얼 리뷰는 증분 대비 품질 개선폭이 좋은 편입니다.
케이스 스터디의 디테일
두 도메인 데모에서 흥미로운 부분은 “틀린 기대를 주입했을 때”의 반응입니다.
- 임상 위험 스크리닝 제안서에 Accuracy를 주 지표로 잘못 넣었더니, 생성된 논문이 다중 지표로 교차 검증하고 “Accuracy와 F1이 모두 기만적”이라고 결론지었습니다. 데이터 불균형 때문입니다.
- PM2.5 예측에 “인과 모델이 비슷한 성능을 낼 것”이라는 강한 사전 기대를 넣었더니, 실제 실험 결과와 충돌하면서 그 기대를 따르지 않는 논문이 나왔습니다. 전 계열 분해의 룩어헤드 바이어스도 실증 감사로 폭로합니다.
사용자 프롬프트보다 측정 증거를 우선하는지 확인하는 실험입니다.
내 해석
원문 근거와 제 해석을 나눠서 적습니다.
- 스킬 13개 + 공유 디렉터리라는 최소 구조로 99.5% 인용 유효성을 낸 점이 이 논문의 실질 기여라고 봅니다. 전용 플랫폼 없이도 여기까지 된다는 실효 데이터입니다.
- 조작 탐지 14%→92% 곡선이 실무에서 가장 재사용 가치가 높습니다. 게이트(결정적 검사)가 첫 증분에서 55%p를 가져가는데, “규칙으로 검증 가능한 건 먼저 코드로 옮겨라”는 원칙이 숫자로 확인되는 대목입니다.
- Self-Refutation Loop 상한 7회는 에이전트 루프 설계에 그대로 이식할 수 있는 패턴입니다. 실패를 숨기지 말고 실패 보고서로 남기고 궤적을 갈아엎는 구조가 핵심입니다.
- 근데 8개 토픽·$8.1이라는 규모는 “완성된 연구”보다는 “프리프린트 초안 생성”에 가깝습니다. 논문 스스로 비교 실험과 감사·케이스 스터디를 섞어 썼고, 소거 실험은 3토픽 짝비교라는 한계를 명시합니다.
한계와 체크포인트
- 소거 실험 비용 증분은 3개 토픽 짝비교 서브셋 기준이라 8토픽 평균과 일치하지 않습니다.
- Figure 5(페이지·인용·그림 수)는 시스템 유지관리자 자가 보고라서 존재 증거로만 쓰라고 논문이 직접 못 박습니다.
- 클레임 단위 증거 진단은 아직 모델이 수행하고, 설계 확약과 산출물 검사만 기계 검사입니다.
- 인용 유효성은 생성 후 외부 서지 서비스로 검증했고, 사전등록된 평가 프로토콜로 8개 토픽을 돌렸습니다. 평가 프로토콜 자체를 외부 타임스탬프로 등록한 점은 다른 시스템 감사보다 깐깐한 편입니다.
함께 보기
- 논문: arXiv:2608.11924
- 스킬 저장소: Spark-To-Paper-Skills/spark-to-paper-skills
- HTML 전문: arxiv.org/html/2608.11924v1
더 실습해보고 싶은 분들께
코딩 어시스턴트 안에서 스킬을 조합해 긴 작업을 자동화하는 패턴이 궁금하다면 아래 두 개를 추천합니다.
스킬 단위 자동화와 검증 루프를 직접 굴려보고 싶은 분에게 딱 맞는 내용들입니다.