AI가 논문을 쓰는 시대가 왔다. 그런데 정작 그 논문을 검증하는 피어 리뷰는 여전히 인간이 한다. 논문 양은 폭증하고, 리뷰어는 부족하다. Google이 이 병목을 깨기 위해 내놓은 답이 바로 **Paper Assistant Tool(PAT)**이다.
논문: Towards Automating Scientific Review with Google’s Paper Assistant Tool (Jayaram et al., 2026)
검증의 병목: AI가 논문을 쏟아내면 누가 읽어야 하나
2024년 기준 arXiv 컴퓨터 과학 논문의 최소 17.5%가 AI 생성 흔적을 보인다. 특정 생물의학 하위 분야에서는 40%에 달한다. 2026년이 된 지금은 훨씬 더 높을 것이다.
NeurIPS, ICML, CVPR 세 개 최상위 AI 학회의 논문 투고 수는 매년 폭증하고 있다. 인간 리뷰어가 줄 단위로 확인해야 하는 수학 증명, 실험 설계, 코드 검증은 물리적으로 따라가지 못한다.
핵심 문제: 논문 생성은 AI로 가속화되는데, 검증은 여전히 인간 처리량에 묶여 있다.
PAT: 4단계 추론 스케일링 파이프라인
PAT는 Gemini Deep Think 기반의 에이전트 시스템으로, 단일 LLM 호출의 한계를 극복하기 위해 네 단계로 설계됐다.
1. 세그멘터(Segmenter) 에이전트
논문을 논리적 주제 단위로 분할한다. 예를 들어 ‘실험’, ‘이론’, ‘방법론’ 등으로 나누며, 세그먼트는 겹칠 수 있고 연속적이지 않아도 된다. 그런 다음 각 세그먼트의 정보 밀도와 복잡도에 따라 동적으로 연산 예산을 할당한다.
2. 딥 리뷰(Deep Review) 에이전트
각 세그먼트를 전담하는 리뷰 에이전트가 심층 검증을 수행한다. 전체 논문을 컨텍스트로 제공받지만, 자신에게 할당된 섹션에 집중한다. 수학적 주장을 비판적으로 검토하고, 증명의 각 단계를 따라가며, 구체적인 반례를 생성한다.
3. 신서시스(Synthesis) 에이전트
각 세그먼트의 리뷰 결과를 취합한다. Google 검색을 활용해 환각(hallucination)을 추가 검사한다 — 존재하지 않는 논문이나 정리를 인용하지 않았는지 확인하는 것이다.
4. 동적 연산 할당
단순한 논문에는 적은 연산을, 복잡한 증명에는 많은 연산을 배정한다. 이는 Pass@k(독립적 반복 호출)와 달리 정밀도 저하 없이 리콜을 올리는 핵심 설계다.
왜 단일 LLM 호출로는 부족한가
단일 모델 호출은 단순하지만 컨텍스트 윈도우 한계에 부딪힌다. 복잡한 수학 증명을 검증하려면 수많은 “사고 토큰(thinking tokens)“이 필요한데, 이는 단일 호출의 컨텍스트를 쉽게 초과한다.
Pass@k(모델을 k번 독립 호출)는 리콜은 올리지만 정밀도를 큭 떨어뜨린다. 모델이 10% 확률로 치명적 오류를 찾고 한 번당 10개의 이슈를 제안한다면, 10번 돌리면 약 100개의 제안을 human이 확인해야 한다. 또한 각 호출이 같은 섹션에 집중할 수 있어 검증 빈틈이 생긴다.
PAT의 오케스트레이션은 이 두 한계를 모두 해결한다.
SPOT 벤치마크: 89.7% 리콜
PAT의 오류 검출 능력은 SPOT 벤치마크(실제 철회 또는 정정된 논문 모음)로 측정됐다. 수학/컴퓨터 과학 카테고리에서 “방정식/증명” 오류가 있는 26편(29개 오류)을 대상으로 평가했다.
| 시스템 | 오류 리콜 |
|---|---|
| Gemini 3.1 Pro (단일 호출) | ~55% |
| PAT | 89.7% |
PAT는 단일 호출 대비 34% 향상을 달성했다. 한 사례에서, 제로샷 모델이 실수를 그대로 받아들인 반면, PAT는 구체적인 반례를 직접 구성하여 치명적인 증명 간극을 폭로했다.
중요한 시사점: arXiv가 제출 논문마다 단 한 번의 LLM 리뷰만 적용해도, 철회된 논문의 절반 이상에서 오류를 사전에 잡을 수 있었다. PAT를 사용했다면 거의 모든 오류를 사전에 발견할 수 있었다.
STOC · ICML 실전 배포: 4,700건 이상 리뷰
PAT는 STOC 2026(이론 컴퓨터 과학)과 ICML 2026(머신러닝)에서 사전 제출 도구로 저자들에게 무료 제공됐다. 두 학회 합산 4,700건 이상의 논문이 PAT로 리뷰됐다.
양적 피드백
- 대다수 저자가 PAT를 다음 논문에도 다시 사용하고 싶다고 응답
- 90% 이상이 피드백이 “매우 도움됨” 또는 “대체로 도움됨”이라고 평가
- 절반 이상이 피드백이 “대체로 사실에 기반함”이라고 응답 (환각 문제가 제한적)
가장 인상적인 두 결과:
- STOC: 10명 중 1명이 PAT가 1시간 이상 수정이 필요한 수학적 오류를 발견했다고 답함
- ICML: 3명 중 1명이 PAT가 중대한 이론 오류를 발견했다고 응답. 31%는 PAT 리뷰 때문에 완전히 새로운 실험을 추가로 실행함
질적 피드백
“수개월 동안 우리를 속였던 embarrassingly simple한 버그를 찾아냈다. 결국 7-8페이지의 기술 내용을 완전히 다시 작성해야 했다.”
“모순을 발견했다… 증명이 무효였고 AI가 지적한 후 수정했다.”
“단순히 놀라웠다. 치명적인 알고리즘 버그를 지적했고, 제때 수정할 수 있었다.” — Vijay Vazirani, UC Irvine Distinguished Professor
AI-인간 협업 4단계 분류 체계
논문은 피어 리뷰에서 AI의 역할을 4단계로 분류한다.
| 역할 | 설명 | 현재 |
|---|---|---|
| Role 1: 저자의 도구 | 제출 전 자가 검증. 리뷰 프로세스와 무관 | PAT 현재 위치 |
| Role 2: 어시스턴트 | 리뷰어를 돕는 보조 도구. 요약, 관련 작업 검색 등 | 가까운 미래 |
| Role 3: 서포팅 리뷰어 | 인간 AC 감독 아래 기술 리뷰어 역할 수행 | 중기 전망 |
| Role 4: 완전 자동화 | AI가 독립적으로 평가 및 출판 결정 | 장기 논의 필요 |
PAT는 현재 Role 1에 해당한다. 저자에게만 제공되며, 정식 리뷰 프로세스에는 개입하지 않는다. 하지만 모델이 발전함에 따라 Role 3을 향해 점진적 이동이 예상된다.
시사점
1. 검증 부채(verification debt)가 실제 문제다. AI가 논문을 빠르게 생성할수록, 검증 시스템도 그에 맞춰 스케일업되어야 한다. 그렇지 않으면 오류가 문헌 전체에 확산된다.
2. 추론 스케일링이 핵심이다. 단일 LLM 호출로도 이미 절반 이상의 오류를 잡을 수 있지만, 오케스트레이션된 에이전트 파이프라인은 리콜을 89.7%까지 끌어올린다. 에이전트 설계가 모델 자체의 발전을 넘어서는 지점이 있다.
3. arXiv 통합이 자연스러운 다음 단계다. 제출 시점에 자동 피드백을 제공하면, 오류가 문헌에 확산되기 전에 차단할 수 있다. PAT의 SPOT 성적은 이것이 이미 기술적으로 실현 가능함을 보여준다.
4. 거버넌스가 기술을 앞서야 한다. Role 4(완전 자동화)는 출판 결정권을 AI로 이전한다. 커리어에 직결된 문제인 만큼, 기술적 성능 향상 속도에 맞춰 제도적 논의가 병행되어야 한다.
결론
Google의 PAT는 “AI가 쓴 논문을 AI가 검증한다”는 사이클의 첫 번째 실전 구현이다. 4,700건 이상의 실제 학회 논문에 적용됐고, 저자들의 반응은 압도적으로 긍정적이다. 수학적 오류 검출 89.7% 리콜은 더 이상 실험실 수준이 아니다.
문제는 이제 기술이 아니라 제도다. 언제, 어디까지, 어떤 방식으로 AI를 피어 리뷰에 통합할 것인가. PAT는 그 논의를 위한 구체적인 기준선을 제시한다.