BM25가 에이전트 검색을 이기는 순간 — RAG 패러다임 28단계 스케일링 실험이 보여주는 교차점

한 줄 요약: 코퍼스가 커질수록, 가장 단순한 어휘 검색(BM25)이 가장 정교한 에이전트 검색·그래프 RAG를超越한다. 교차점은 약 1,000만 토큰이다.

RAG(Retrieval-Augmented Generation)는 검색 기반으로 LLM의 환각을 막는 핵심 기술이다. 하지만 어떤 검색 방식이 가장 좋은가? 이 질문에 대해 학계와 업계는 각자 다른 벤치마크, 다른 코퍼스 크기, 다른 평가 프로토콜로 답해왔다. 중국 과학기술대학(USTC)과 Metastone 연구진이 발표한 “BM25 Wins at Scale”은 이 혼란을 정리하는 통제 스케일링 실험이다.

연구진은 51만 개 문서(6억 토큰)의 엔터프라이즈 코퍼스에서 28개의 중첩 단계를 만들고, 각 단계에서 네 가지 RAG 패러다임(어휘 검색·밀도 검색·그래프 RAG·에이전트 검색)이 어떻게 성능을 내고 비용이 어떻게 변하는지 측정했다. 결과는 명확하고 충격적이다.

Figure 1: 스케일링 교차점의 개요. 약 10M 코퍼스 토큰에서 BM25가 File-System Agent를 추월하고, 그 이후 모든 단계에서 선도한다.

실험 설계: 왜 이전 연구들이 틀렸는가

기존 RAG 비교 연구의 치명적 문제는 코퍼스 크기를 고정했다는 점이다. 수천 개 문서에서 BM25가 좋다고 해서, 수십만 개 문서에서도 좋을 거라는 보장은 없다. 반대로 에이전트 검색이 소규모에서 좋다고 해서 대규모에서도 유리할까?

연구진은 이 문제를 중첩 계단(nested ladder) 방식으로 해결했다:

베드락(Bedrock): 722개 골드 문서 + 326개 함정(trap) + 99개 루어(lure) + 2개 개요 페이지 = 1,144개 문서. 모든 질문과 정답, 그리고 속임표 문서가 이 최소 단계에 고정된다.
28단계 확장: 각 단계는 이전 단계를 완전히 포함하면서 1.25배씩 문서를 추가. 1,144개에서 511,959개(1.7M→601M 토큰)까지 약 450배 확장.
고정 통제: 질문 500개, 리더 모델(Qwen3.6-27B), 판정 모델, 토큰 계측기 모두 동일.

Figure 2: 평가 방법론. 네 패러다임이 동일한 중첩 코퍼스 계단에 접근한다.

이 설계의 핵심 통찰은 **함정(trap)**과 **루어(lure)**를 최소 단계에 배치했다는 것이다. BM25가 의미적으로 유사하지만 사실이 틀린 문서를 걸러내는지, 아니면 속아 넘어가는지를 모든 규모에서 일관되게 측정할 수 있다.

네 가지 패러다임, 일곱 개 파이프라인

연구진이 평가한 시스템은 다음과 같다:

BM25 — 전통적 역인덱스 어휘 검색. LLM 기반 구축 비용 제로.
DenseRAG — 청크 임베딩 기반 밀도 검색.
HippoRAG 2 — 개방형 어휘 삼중항 그래프 + Personalized PageRank.
MS-GraphRAG — 엔티티 그래프 + 계층적 커뮤니티 리포트 (Microsoft).
LightRAG — 이중 수준 엔티티·관계 인덱스.
LinearRAG — 경량 NER + 임베딩 기반 엔티티 공출현 그래프 (LLM 구축 비용 없음).
File-System Agent — 코딩 에이전트(Claude Code, Codex 방식)와 동일한 파일 시스템 도구를 사용. 인덱스 없이 원시 파일 트리를 탐색. 질문당 80회 LLM 호출 예산.

File-System Agent는 인덱스가 필요 없다. 에이전트가 ls, grep, cat 같은 파일 도구로 코퍼스를 직접 탐색하는 방식이다. 이것이 바로 오늘날 코딩 에이전트가 작동하는 방식과 동일하다.

핵심 발견: 교차점(crossover)

Table 1: 7개 파이프라인의 공식 성적. BM25가 풀 스케일에서 50.5점, File-System Agent는 30.7점으로 추락.

실험 결과는 규모 의존적 교차점을 보여준다:

규모	BM25	File-System Agent	DenseRAG
베드락 (1.7M 토큰)	74.7	77.4	~60
~10M 토큰	교차	교차	~45
풀 스케일 (601M 토큰)	50.5	30.7	29.9

소규모에서는 File-System Agent가 BM25를 소폭 앞선다 (77.4 vs 74.7). 95% 신뢰구간이 겹치는 수준.
약 1,000만 토큰에서 두 곡선이 교차.
대규모에서는 BM25가 압승한다. 풀 스케일에서 격차는 약 20점.

이 교차점이 의미하는 바가 무엇인가? 에이전트의 순차적 탐색은 코퍼스가 커질수록 비효율적이다. 반면 BM25는 인덱스에 전역 랭킹을 이미 amortize(상환)해 두었기 때문에, 코퍼스가 아무리 커져도 질의 비용이 거의 일정하다 (질문당 5.8K 토큰).

File-System Agent는 베드락에서 226K 토큰을 쓰지만, 21,614개 문서에서는 343K 토큰까지 증가한다 — BM25의 39~60배다.

그래프 RAG의 벽: 구축 비용

그래프 기반 RAG(GraphRAG, LightRAG, HippoRAG 2)는 더 극적인 문제에 직면한다. 바로 구축 비용의 벽이다.

Figure 4: 비용 스케일링. 좌: 구축 토큰과 멱법수 적합. 우: 단일 스트림 질의 지연.

MS-GraphRAG: 8,750개 문서에서 중단. 풀 스케일 추정치 79억 생성 토큰, 약 50일.
LightRAG: 2,826개 문서에서 완료 불가. 초선형 증가(b=1.36), 풀 스케일 추정치 1,020억 토큰 — 약 4년.
HippoRAG 2: 131,876개 문서까지 완료. 풀 스케일 추정치 29억 토큰, 약 3일. 하지만 1억 5,500만 토큰 코퍼스에서 7억 2,400만 토큰을 썼는데도 점수는 41.0 — BM25보다 15점 낮다.

결론: LLM 기반 그래프 구축은 10만~100만 문서 규모에서 정당화하기 어렵다. 구축 비용이 선형에 가깝더라도, 관계형 질문이 압도적으로 많지 않은 한 수지타산이 맞지 않는다.

LinearRAG는 LLM 생성 호출 없이 NER + 임베딩만으로 그래프를 구축하는 변종이다. 흥미롭게도, 베드락에서 MS-GraphRAG 및 LightRAG와 1.8점 이내의 성적을 냈다. 즉 LLM 기반 추출이 추가하는 비용보다 노이즈를 더 빨리 만들어낸다는 뜻이다.

메커니즘 분석: 검색이 약한 것이 아니라 발견이 실패하는 것

가장 중요한 통제 실험은 Section 5의 검색 원시 프리미티브 교체다. 연구진은 File-System Agent의 도구를 원시 파일 탐색에서 BM25 기반 검색으로 바꿨다. 모델, 하네스, 예산, 판정 모델은 그대로.

결과가 놀랍다:

Table 4: 검색 원시 프리미티브 통제. 베드락에서는 통계적 동점, 풀 스케일에서 BM25가 17.97점 앞선다.

베드락: Native BM25 vs File-System Agent는 통계적 동점 (BM25가 5.73점 뒤처짐, 95% CI [−11.57, 0.15]).
풀 스케일: BM25가 17.97점 앞선다 (CI [9.68, 26.14]).
핵심 메커니즘: File-System Agent의 골드 문서 적중률이 **39.0%**로 추락하는 반면, BM25는 **71.6%**를 유지한다.
Agent+BM25(에이전트 정책은 유지하되 검색 도구만 BM25로 교체): 풀 스케일에서 69.4점 — 원시 파일 에이전트보다 32.52점 높고, Native BM25보다도 14.56점 높다.

이것이 시사하는 바는 명확하다:

에이전트는 전역 랭킹 이후에 도움된다. 반복적 로컬 탐색은 전역 랭킹의 대체재가 아니다.

에이전트의 순차적 파일 탐색은 코퍼스가 작을 때는 정밀한 컨텍스트 구성에 유리하지만, 코퍼스가 커지면 관련 브랜치에 도달하지 못하는 후보 발견 실패가 발생한다.

Table 3: 동일한 에이전트 하네스가 각 그래프 기질 위에서 어떤 점수를 내는가.

에이전트를 그래프 인덱스 위에서 작동시키는 **접근층 실험(Access Layer)**에서도 패턴이 확인된다. 동일한 도구 호출 하네스로 HippoRAG2 인덱스를 탐색했을 때 네이티브 대비 -0.6~~14.5점 변동, LightRAG에서는 22.2~~29.9점 상승이 관찰됐다. 즉 같은 인덱스라도 에이전트 정책이냐 원샷 랭커냐에 따라 결과가 크게 달라진다.

비용 효율: BM25의 파레토 최적성

Figure 5: 보완적 스케일링 분석. 좌: 6단계 150질문 정확도-비용 요약. 우: 질문 유형별 성적.

BM25는 정확도뿐 아니라 비용 효율에서도 최적이다:

BM25: 500질문에 290만 토큰 (인덱스 구축 비용 제로, 질문당 5.8K 토큰)
File-System Agent: 500질문에 1억 1,280만 토큰 (질문당 226K~343K)
HippoRAG 2: 500질문에 1,070만 토큰 (구축 비용 별도)
MS-GraphRAG/LightRAG: 구축만 4,000만 토큰 이상, 점수는 40점대

BM25의 단일 점은 상환 기간(horizon) 10에서 10,000질문까지 파레토 프론티어 위에 있다.

질문 유형별 분석: 에이전트가 여전히 이기는 영역

N=42,587 (약 5천만 토큰)에서 질문 유형별로 보면, File-System Agent가 이기는 영역이 아직 존재한다:

완결성(completeness) 질문: File-System Agent 56 vs BM25 27 — 에이전트가 여러 문서를 종합해야 하는 질문에 강하다.
문서 내(intra-document) 질문: 에이전트 우세.
프로젝트 관련 질문: 에이전트 우세.
충돌 정보(conflicting-info) 질문: 에이전트 우세 — 모순된 정보를 비교 판단할 때.

반면 BM25는 조회형, 교차 출처, 집계형 등 5개 유형에서 최고이거나 동점이다.

이는 실용적 시사점을 갖는다: 집계가 많이 필요한 질문에는 Agent+BM25(전역 랭킹으로 후보 발견 후 에이전트로 정밀 분석)가 최적이다.

그래프 실패의 세 가지 원인

그래프 RAG가 부진한 이유를 연구진은 세 가지로 정리한다:

추출 노이즈: 베드락의 32K 추출 엔티티 중 상당수가 malformed fragment. LLM 추출이 비용 대비信号을 못 만든다.
의미적 유사함정: 그래프检索이 의미적으로 가깝지만 사실이 틀린 이웃을 반환. trap이 이를 벌점으로 처벌.
확장 비용: LightRAG는 초선형(b=1.36), MS-GraphRAG는 선형이지만 절대량이 enormous.

LinearRAG가 LLM 추출 없이도 비슷한 성적을 낸다는 것은, LLM 기반 그래프 구축이 signal 대비 cost가 나쁘다는 것을 시사한다.

실무 가이드: 엔터프라이즈 RAG를 설계하는 사람에게

연구진의 결론을 실무적으로 번역하면:

기본값은 BM25다. 엔터프라이즈 코퍼스(10만~100만 문서)에서 BM25는 가장 강력하고 저렴한 디폴트다.
집계 중심 질문에는 Agent+BM25를 고려하라. 전역 어휘 랭킹으로 후보를 발견한 뒤, 에이전트가 좁혀진 후보에 대해 정밀 분석을 수행하는 하이브리드가 가장 강력하다.
그래프 RAG는 신중하라. 관계형 질문이 압도적이고, 구축이 near-linear여야 하며, 코퍼스가 10만 문서 이하일 때만 정당화된다.
밀도 검색은 효율적이지만 정확도가 낮다. 의미적 함정이 많은 도메인에서는 특히 주의.
코퍼스가 자라는 것을 고려하라. 오늘 1만 문서에서 에이전트가 이길 수 있지만, 내일 50만 문서가 되면 BM25가 이긴다.

더 실습해보고 싶은 분들께

이 연구가 보여주는 것은, 결국 도구와 루프를 어떻게 설계하느냐가 검색 품질과 비용을 결정한다는 점입니다. 에이전트가 파일 시스템을 탐색하는 방식, BM25 후보를 에이전트가 재분석하는 하이브리드 방식, 이런 것들을 직접 실험해보고 싶다면 다음 두 자료를 추천합니다:

『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 자동화와 도구 사용 루프를 실전에서 설계하는 50가지 패턴
「모두를 위한 루프 엔지니어링」 — 검색-추론 루프를 포함한 에이전트 하네스 설계의 실습 강좌

논문: BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms — Benfeng Xu, Shaohan Wang, Xin Zeng, Huarui Wu, Lei Zhang, Licheng Zhang (USTC & Metastone, 2026)

코난쌤 블로그

탐색기