TL;DR
- LLM의 계획(plan) 능력을 단일 능력이 아니라 두 가지 독립적 잠재 역량으로 분해한 연구
- 조작적 추론(operational reasoning): 개별 액션의 적용 가능성, 상태 전이, 계획 검증 — 모델이 커지고 CoT가 길어질수록 향상됨
- 구조적 열거(structural enumeration): 도달 가능성, 랜드마크 탐지 — 스케일과 추론 예산에 대해 거의 무감각하게 정체
- 비보상(noncompensatory) 2차원 MIRT 모델이 AIC/BIC에서 최적이었으며, PCA도 동일한 2차원 구조를 확인
- “LLM이 계획을 잘하게 되었다”는 평가는 어떤 역량을 측정했는지에 따라 완전히 달라진다
논문: Huang et al., “What We Talk About When We Talk About LLM Planning: Evidence for Two Distinct Planning Abilities”, arXiv:2607.11197, 2026. (Monash University)
문제의식: “계획이 어렵다”는 말로는 부족하다
LLM이 에이전트 시스템으로 발전하면서 계획(planning)은 핵심 역량이 되었다. 그런데 기존 벤치마크(PlanBench, ACPBench, TRAC 등)는 계획을 여러 하위 과제로 쪼개어 측정하면서도, 그 하위 과제들이 동일한 능력의 다른 측면인지, 아니면 근본적으로 다른 능력인지를 검토하지 않았다.
예를 들어 ACPBench-Hard는 8개 하위 과제(applicability, reachability, landmark detection, state progression, plan validation 등)를 제공한다. 각 과제의 정확도가 다르지만, 이를 단순히 “더 어려운 과제”로 설명하는 것이 과연 옳은가?
이 연구의 핵심 질문은 이것이다:
LLM 계획 능력의 불균등한 과제별 성과가 단일 능력 스펙트럼 위의 난이도 차이인지, 아니면 서로 다른 잠재 역량의 존재를 나타내는 것인가?
Figure 1: 평가 설계. 왼쪽은 ACPBench-Hard의 8개 계획 과제(action, state, plan 레벨), 오른쪽은 3가지 추론 조건(direct, CoT, scratchpad harness).
방법론: 문항 반응 이론(IRT)을 LLM 계획에 적용
왜 IRT인가
교육 측정학에서 발전한 IRT는 관찰된 응답(correct/incorrect)을 통해 응시자의 보이지 않는 능력(latent ability)을 추정하는 통계 프레임워크다. LLM 평가에 적용하면:
- 응시자(respondent) = 각 모델×추론조건 쌍 (예: Qwen3.5-27B + CoT)
- 문항(item) = ACPBench-Hard의 개별 계획 문제 (총 1,040개)
- 응답(response) = 이진 정답 여부 (PDDL 기반 자동 채점)
단일 차원 vs 다차원
- 1차원 IRT: 모든 계획 과제가 단일 “계획 능력” θ로 설명된다
- 다차원 MIRT: 여러 잠재 역량이 존재하며, 각 과제는 특정 역량에 더 의존한다
- 보상(compensatory) 모델: 한 역량이 다른 역량의 부족을 보완할 수 있다
- 비보상(noncompensatory) 모델: 각 역량이 독립적으로 성공 확률에 기여하며, 어느 하나가 부족하면 전체가 실패한다
실험 설계
3개 모델 패밀리(Qwen3.5: 0.8B27B, Gemma 4: 2B4B, Granite 3.3: 2B8B) × 3가지 추론 조건(direct, CoT, scratchpad)을 평가했다. 총 1,040개의 ACPBench-Hard 문항에 대해 이진 응답 행렬을 구성하고, 14차원의 보상/비보상 MIRT 모델을 적합했다.
핵심 발견: 2차원 비보상 모델이 최적
모델 선택 결과
AIC, BIC, 교차 검증 모두 2차원 비보상(noncompensatory) 모델이 최적임을 지목했다. 1차원에서 2차원으로 갈 때 NLL 감소의 85.4%가 발생하며, 3차원 이상은 한계 이익이 거의 없다.
중요한 것은 보상 모델이 1차원과 큰 차이가 없었다는 점이다. 이는 두 역량이 서로 대체 가능하지 않다는 것을 의미한다. 한쪽이 강해도 다른 쪽의 약점을 보완할 수 없다.
PCA도 동일한 결론을 준다: 첫 두 주성분이 분산의 84%를 설명하고, 명확한 엘보(elbow)가 2번째 성분 뒤에 나타난다.
Figure 2: 응답 행렬의 PCA 스크리 플롯. PC1과 PC2가 분산의 84%를 설명하며, 2번째 성분에서 명확한 엘보가 나타난다.
두 차원의 의미
학습된 과제별 난이도 좌표를 2D 평면에 배치하면 두 개의 분명한 군집이 나타난다.
Figure 3: 2차원 비보상 모델의 과제 난이도 바이플롯. 빨간색 벡터는 Dimension 1(조작적 추론), 파란색 벡터는 Dimension 2(구조적 열거)에 더 강하게 로딩된다.
Dimension 1 — 조작적 추론(operational reasoning)
- 관련 과제: applicability, progression, next-action, validation
- 특징: 개별 액션의 적용 가능성을 판단하고, 즉각적인 상태 전이를 추론하며, 제안된 계획 단계를 검증
- 즉, “이 액션을 이 상태에서 쓸 수 있는가?”를 묻는 국소적 추론
Dimension 2 — 구조적 열거(structural enumeration)
- 관련 과제: reachability, landmark detection, action reachability
- 특징: 전역 상태 공간의 구조를 이해하고, 목표 도달 가능성과 필연적 중간 지점(landmark)을 파악
- 즉, “목표에 도달할 수 있는 경로가 존재하는가?”를 묻는 전역적 추론
이 해석은 IRT 좌표에 대한 사후적 해석이 아니다. 연구진은 모델 적합 전에 독립적인 의미론적 코드북(semantic codebook)을 구성했고, PDDL 문제 구조 특징(parser-derived features)과의 상관관계로 검증했다.
핵심 발견: 스케일과 CoT는 비대칭적으로 작용한다
이 두 역량이 모델 크기와 추론 예산에 어떻게 반응하는지를 (θ₁, θ₂) 공간에서 추적했다.
Figure 4: 조작적 추론(θ₁)은 모델 크기와 추론 단계가 증가할수록 향상되지만, 구조적 열거(θ₂)는 정체된다.
결론은 명확하다:
| 역량 | 모델 스케일링 | CoT | Scratchpad |
|---|---|---|---|
| 조작적 추론 (θ₁) | ✅ 향상 | ✅ 향상 | 약간 향상 |
| 구조적 열거 (θ₂) | ❌ 정체 | ❌ 정체 | ❌ 정체 |
- 모델이 커질수록 θ₁(조작적 추론)은 오른쪽으로 이동하지만, θ₂(구조적 열거)는 거의 움직이지 않는다
- CoT가 길어져도 마찬가지 패턴
- Scratchpad(파일 읽기/쓰기 도구로 상태 공간 탐색을 외부화)를 제공해도 개선이 없다 — 오히려 CoT보다 나을 것이 없다
- 더 강력한 에이전트 하네스(OpenCode, 컨텍스트 압축, 영구 메모리, MCP 도구)를 테스트해도 구조적 열거 병목은 지속되었다
가장 높은 θ₂ 난이도 사분위에서 정확도는 7.5%에 불과했고, 가장 낮은 사분위에서는 95.2%였다.
왜 구조적 열거는 개선되지 않는가
숨겨진 상태(hidden states)에 대한 선형 프로브(probe) 분석이 실마리를 준다:
- 조작적 추론 과제: 모델이 내부적으로는 정답을 “알고” 있지만(프로브 정확도 높음), 출력으로 내보내지 못하는 **외부화 실패(externalization failure)**가 주된 실패 패턴
- 구조적 열거 과제: 정답 자체가 hidden state에서 선형적으로 분리되지 않는 잠재 부재(latent absence) 비율이 높음
즉, 구조적 열거 실패는 “알고 있는 것을 말하지 못하는” 문제가 아니라, 모델이 애초에 그 정보를 표현하지 못하는 문제다. 따라서 더 긴 추론 트레이스나 더 많은 도구가 도움이 되지 않는다.
파생 발견: 객관식/참거짓 형식이 구조적 역량을 과대평가한다
구조적 열거가 출력 생성의 병목이라면, 정답 후보를 제공하는 형식(MCQ, Boolean)은 구조적 과제에서만 부풀려질 것이다.
| 과제 | b₂ | 생성 정확도 | MCQ-생성 격차 | Bool-생성 격차 |
|---|---|---|---|---|
| areach | +4.86 | 0.077 | +0.623 | +0.681 |
| land | +0.79 | 0.223 | +0.531 | +0.608 |
| reach | +0.31 | 0.423 | +0.315 | +0.477 |
| prog | -1.50 | 0.723 | +0.138 | +0.191 |
| val | -2.10 | 0.708 | -0.315 | -0.038 |
Bool→Gen 격차와 구조적 난이도 b₂ 사이의 Spearman 상관은 ρ = 0.96이다. 객관식 문제로 구조적 열거 역량을 평가하면 심각하게 과대평가하게 된다.
의의: “더 똑똑해졌다”는 말의 함의
이 연구가 던지는 가장 중요한 시사점은 다음과 같다:
-
계획 능력은 단일 척도로 평가할 수 없다. “GPT-x가 계획을 잘한다”는 명제는 어떤 차원을 측정했는지에 따라 진위가 달라진다.
-
스케일링과 CoT의 수확 체감이 구조화되어 있다. 조작적 추론은 스케일링으로 계속 개선되지만, 구조적 열거는 그렇지 않다. “더 큰 모델 + 더 긴 추론” 전략이 닿는 한계가 어디인지 이 연구가 보여준다.
-
평가 방법의 함정. MCQ/Boolean 벤치마크가 구조적 역량을 과대평가한다는 발견은 기존 벤치마크 결과의 재해석을 요구한다.
-
에이전트 설계에 대한 시사점. 구조적 열거 병목은 “더 잘 생각하게” 만드는 것으로는 해결되지 않는다. 계획 공간의 구조를 외부적으로 지원하는(예: 외부 플래너 연동, 랜드마크 추출 도구) 접근이 필요할 수 있다.
한계
- 평가한 모델이 모두 오픈웨이트(Qwen, Gemma, Granite)라는 점. 최대 27B까지로, GPT-5.5 등 대형 폐쇄 모델에서는 다른 패턴이 나타날 수 있다
- Scratchpad/에이전트 하네스가 경량 구현이라는 점. 더 정교한 하네스에서는 결과가 달라질 수 있으나, 연구진이 OpenCode로 보충 실험을 한 결과 구조적 병목은 여전히 지속되었다
- ACPBench-Hard의 PDDL 도메인에 국한된 분석이라는 점. 실세제 계획 과제에서 동일한 2차원 구조가 나타나는지는 추가 검증이 필요하다
개인 코멘트
이 논문의 가장 멋진 점은 측정 도구(IRT)를 바꿔서 보이지 않던 구조를 드러냈다는 것이다. “LLM 계획이 어렵다”는 막연한 진술이 “어떤 역량이, 왜, 어떤 조건에서 개선되지 않는지”로 분해된다.
특히 외부화 실패(알고 있는 것을 출력하지 못함)와 잠재 부재(애초에 표현하지 못함)의 구분은 향후 LLM 에이전트 설계에 직접적인 가이드를 준다. 구조적 열거 영역에서는 “모델을 더 잘 쓰게” 만드는 프롬프트 엔지니어링의 한계가 명확해지며, 대신 외부 기호 도구(symbolic planner)와의 하이브리드가 필수적일 수 있다.
“더 크게, 더 오래 생각하게”라는 전략이 여전히 효과적인 영역과 그렇지 않은 영역을 나누는 이 연구의 프레임은, 향후 LLM 에이전트 벤치마크 설계에 널리 쓰일 것으로 예상한다.