핵심 요약
CoBRA(Counterfactual Boundary leARning)는 툴 보강 언어 모델의 툴 호출 결정을 인스턴스 수준의 한계 효용(marginal utility)으로 학습하는 프레임워크. EMNLP 2026에 수록되었습니다(arXiv:2609.00967, 2026-09-01 공개, 기준일 2026-09-02).
문제 정의: 불필요한 툴 호출은 레이턴시, 비용, 검색 노이즈, 오류 전파를 유발하며, 누락된 호출은 지식 집약 질의에서 정확도를 저하시킵니다. 기존 방법은 난이도, 신뢰도, 최종 보상 등 절대 신호에 기반하므로 인스턴스 수준의 한계 이득 추정이 부재합니다.
주요 결과 (Qwen3-4B, Wikipedia 검색 툴)
| 항목 | 비교 대상 | 결과 |
|---|---|---|
| OOD jEM | M_warm 대비 | 0.4512 → 0.5416 (+9.04pp) |
| OOD 평균 툴 호출 수 | M_warm 대비 | 1.034 → 0.997 |
| OOD jEM / 호출 수 | Search-R1-3B 대비 | 상회 / 0.997 vs 1.281 |
| 경계 집합(D_amb) jEM | Search-R1-3B 대비 | +6.14pp, 호출 1.015 vs 1.241 |
| 인도메인 jEM | SKR-kNN 대비 | +7.90pp (0.5883 vs 0.5093) |
| 음악 도메인 하이브리드 보상 | 배포 전 후 | 2.428 → 2.680, 호출률 39.3% → 25.1% |
방법론
4단계 파이프라인으로 구성됩니다.
- S1 — 이중 전문가 구축: Qwen3-4B에서 내부 전문가(M_int, 툴 미사용 성공 트레이지토리)와 외부 전문가(M_ext, 검색 사용 성공 트레이지토리)를 각각 전체 파라미터 SFT로 학습합니다. 각 44 GPU시간(8×H20).
- S2 — 반사실 페어링: 동일 쿼리 풀에 두 전문가를 온도 0으로 실행하여 페어 롤아웃을 수집합니다(약 35 GPU시간). 효용 R(τ)=S(τ)−λC(τ)의 차이로 internal-favored / external-favored / ambiguous 3개 파티션을 구성합니다(λ=0.10, ε=0.10). 파티션 판정은 인간 어노테이션과 92.5% 일치(κ=0.85)합니다.
- S3 — 경계 인식 콜드스타트 SFT: clear-margin 샘플로 라우팅 형식과 분기 사전을 학습합니다(M_warm).
- S4 — MARS-RL: 경계·애매 쿼리에 대해 reference-split 롤아웃(G_int=G_ext=4)과 반사실 한계 어드밴티지를 적용한 GRPO 확장입니다. LoRA(r=16, α=32), KL 계수 0.01.
실험 상세
주요 평가 세트는 TriviaQA, HotpotQA, 2WikiMultiHop, NQ, PopQA이며 Boundary-Eval은 보류된 애매 사례로 구성됩니다. 검색은 2018년 Wikipedia 덤프(약 2,100만 패시지) 기반 E5-base + FAISS, top-k=3, 최대 4턴입니다.
단계별 결과: M_ext는 M_int 대비 인도메인 jEM +19.15pp, OOD +27.88pp로 검색의 잠재 이득을 확인합니다. M_warm은 인도메인 툴 호출을 47.0% 감소시키며 효용을 0.3544에서 0.4148로 향상시킵니다. CoBRA는 M_warm 대비 인도메인 +9.15pp, OOD +9.04pp jEM을 추가 개선합니다.
경계 행동 분석에서 CoBRA는 애매 부분집합에서 jEM 0.9658을 달성하고 over-call률과 under-call률을 모두 낮게 유지합니다.
수직 도메인 일반화: 상용 음악 애플리케이션에서 Hit@5 0.93, 평균 관련도 0.77, 팩트성 0.997을 기록하며 내부 전용(0.83/0.62), 툴 사용 베이스라인(0.85/0.63), 콜드스타트 변형(0.90/0.70)을 능가합니다.
한계
논문 명시 한계: Qwen3-4B와 검색 툴 중심 검증으로 모델군·툴 유형·멀티툴 환경 확장 검증이 필요하며, 반사실 마진은 페어 롤아웃 품질과 스코어러 신뢰도에 의존합니다. 툴 비용을 호출 횟수로만 모델링하여 레이턴시·API 가격·프라이버시 등 실배포 요소는 미포함입니다.
더 실습해보고 싶은 분들께
자주 묻는 질문
반사실 마진의 계산 방식은?
동일 쿼리의 내부/외부 롤아웃 효용 R=S(τ)−λC(τ) 차이입니다. λ=0.10, ε=0.10을 기본값으로 사용합니다.
사용된 모델과 검색 환경은?
Qwen3-4B이며, 2018년 Wikipedia 약 2,100만 패시지에 대한 E5-base + FAISS 검색(top-k=3, 최대 4턴)입니다.
기존 라우터 대비 이점은?
SKR-kNN 대비 인도메인 +7.90pp, OOD +10.20pp jEM 향상을 툴 호출 수 감소와 동시에 달성했습니다.
참고 자료
- arXiv:2609.00967 (abs)
- HTML 전문
- EMNLP 2026 accepted