인지심리학이 에이전트에게 묻는다
Wisconsin Card Sorting Test(WCST)는 인지심리학의 고전이다. 피험자가 카드를 분류하던 중, 정답 규칙이 조용히 바뀐다. 규칙이 바뀌었는지 모르는 채, 많은 피험자는 옛 규칙에 집착한다 — 이를 **perseveration(지속 오류)**이라 부른다.
이 연구는 같은 질문을 LLM 에이전트에 던진다. 에이전트 하네스에 동일한 기능을 수행하는 여러 도구 그룹을 마운트하고, 세션 도중 신뢰할 수 있는 도구 그룹을 조용히 바꾼다. 이름도, 설명도, 스키마도 그대로다. 오직 도구를 호출해봐야 실패 응답이 돌아오는 것만이 단서다.
에이전트는 이 변화를 감지하고 새 도구 그룹으로 전환할 수 있을까?
Figure 2: 분기 스케줄 트리. 공통 접두사에서 출발해 shift/no-shift 컨트롤과 함께 3개씩 갈라진다.
벤치마크 설계: 중복 도구-스킬 라이브러리
핵심 설계는 기능적으로 동등한 도구 그룹이다. 같은 작업을 수행하지만 이름과 설명이 다른 도구들을 여러 그룹 준비한다. 각 그룹에는 동일한 함수 스키마와 동일한 성공 페이로드 구조를 가진다. 에이전트가 보는 인터페이스는 그룹 간에 불변이다.
세 가지 도메인을 구축했다:
- 스케줄링/조정: 3개 그룹 × 5개 도구 (경쟁하는 슬롯 제공자)
- DevOps 인시던트 분류: 4개 그룹 × 5개 도구 (보완적 관측 스택)
- 멀티클라우드 스토리지: 5개 그룹 × 2개 도구 (경쟁하는 스토리지 제공자)
에이전트는 Hermes Agent(오픈소스 하네스, Nous Research)에서 구동되며, 두 가지 오픈웨이트 모델을 테스트했다: mimo-v2.5(Xiaomi)와 deepseek-v4-pro(DeepSeek).
분기 스케줄: 컨트롤과 페어링
이 연구의 정교함은 분기 설계에 있다. 각 shift 지점에서 세 가지 브랜치가 갈라진다:
- 역전(reversal): 이전에 신뢰했던 도구 그룹으로 돌아감
- 신규 이동(novel shift): 한 번도 신뢰하지 않았던 새 그룹으로 이동
- 비이동 컨트롤(no-shift): 같은 그룹이 계속 신뢰 가능
각 prefix의 세션 상태를 저장하고 하위 브랜치마다 resume하므로, 동일한 컨텍스트에서 출발하는 페어 비교가 가능하다. 90턴 안에 2개 분기 층(K=2), 9개 엔드포인트를 만든다.
Table 4: 벤치마크의 도구-스킬 관계 구조. 동일 스키마 아래 이름·설명·숨겨진 신뢰성이 달라진다.
핵심 발견: 두 가지 경직성 패턴
1. 루틴의 빠른 고착화
모든 shift 이후, 에이전트는 몇 턴 안에 소수의 반복 루틴으로 수렴한다. 도구 호출 패턴이 규칙적으로 반복되며, shift가 일어나도 이 루틴에서 벗어나지 않는다.
Figure 3: n=16 prefix당 분포. bimodal 패턴이 뚜렷하다 — 올바른 그룹으로 완전히 전환하거나, 아예 전환하지 못하거나.
2. 모델별로 질적으로 다른 실패 모드
두 모델은 같은 루틴 세트에서도 완전히 다른 실패 패턴을 보인다:
| 모델 | 행동 패턴 | 실패 모드 |
|---|---|---|
| mimo-v2.5 | 이전에 사용한 모든 도구 그룹을 혼합해서 계속 호출 | 새 그룹을 시도하지 않음 (탐험 부족) |
| deepseek-v4-pro | 트레젝토리 시작 시점에 선택한 단일 그룹에 고착 | 시작 그룹이 신뢰 불가능해도 전환 안 함 (초기 고착) |
이 차이는 중요하다. 같은 하네스, 같은 도구 세트에서도 모델의 사전 학습이 도구 선택 편향을 결정한다.
3. Set-shifting 정확도(Φ): 결합 확률
Φ는 단순한 정확도가 아니다. 모든 post-shift 윈도우에서 올바른 도구 그룹을 호출할 결합 확률이다. shift가 누적될수록 Φ는 급격히 떨어진다. 단일 shift에서 60%대 정확도가, 2단계 shift에서는 20% 이하로 추락한다.
Figure 4: 각 궤적별 누적 target-call share. 회복이 극히 드물다.
개입 실험: 지시 vs 구조
정책 프롬프트(RQ3)
세 가지 조건을 테스트했다:
- Regular assistant: Hermes 기본 SOUL.md 유지
- Adaptive: 명시적으로 도구 전환을 지시하는 정책 프롬프트 추가
- Polymath: 극단적 호기심 인격 — 도구를 끊임없이 회전하도록 유도
결과: adaptive 프롬프트는 deepseek에서 perseveration을 줄이지만, over-switching이라는 새로운 문제를 만든다. 정답을 맞추지 못하면서 도구를 자꾸 바꾼다. polymath는 더 많은 도구를 호출하지만 정확도 향상은 없다. 그리고 mimo에서는 두 프롬프트 모두 효과가 없다 — 모델별로 정책 효과가 다르다.
Table 1: 두 모델의 route-class 분포와 bimodality 지표. [# s≥0.8 / # s≤0.2] 형태로 고착 vs 실패 비율을 보여준다.
세트 프레이밍(RQ4)
더 흥미로운 발견은 구조적 개입에서 나온다. 같은 도구 세트를 두 가지 방식으로 제시한다:
- 보완적(complementary): “각 그룹은 하나의 서비스를 구성하는 관측 피드” — 도구들이 함께 작동
- 경쟁적(competing): “각 그룹은 동일한 보고서를 제공하는 경쟁 제공자” — 도구들이 대체 관계
결과: 경쟁 프레이밍에서 Φ가 일관되게 상승한다 (32쌍 중 26쌍, sign test p=3×10⁻⁴). 에이전트가 “경쟁자”로 인식하면 하나에 올인하고, 그것이 신뢰 가능한 그룹일 확률이 올라간다. 반면 보완적 프레이밍에서는 매 턴마다 모든 그룹을 섞어서 호출하는 루틴에 갇힌다.
이 효과는 정책 프롬프트가 닿지 못했던 mimo에까지 도달한다. 구조가 지시보다 더 강력한 개입 채널일 수 있다는 시사점.
왜 중요한가
에이전트 평가의 새로운 차원
기존 도구 사용 벤치마크는 “정확한 도구를 선택하는가?”를 한 번에 측정한다. 이 연구는 시간 축을 추가한다 — 같은 에이전트가 세션 도중 환경이 바뀌었을 때 어떻게 적응(또는 실패)하는가.
이것은 실제 프로덕션 환경에서 중요하다. API가 업데이트되거나, 백엔드 서비스가 장애 상태로 전환되거나, 새 도구가 추가될 때, 에이전트는 기존 루틴에서 벗어나야 한다.
하네스 설계의 함의
- 도구 설명의 프레이밍이 행동을 결정한다: “경쟁” vs “보완”이라는 단어 선택이 에이전트의 도구 선택 전략을 바꾼다.
- 정책 프롬프트는 모델별로 다르게 작동한다: 하나의 시스템 프롬프트 최적화가 모든 모델에서 통하지 않는다.
- 초기 선택이 전체 궤적을 결정한다: deepseek의 경우, 첫 몇 턴의 도구 선택이 나머지 전체 세션을 규정한다. 이것은 context engineering의 첫 턴 설계가 얼마나 중요한지를 보여준다.
인지 과학과의 대화
WCST에서 perseveration은 전두엽 손상의 지표다. LLM 에이전트에서 perseveration은 컨텍스트 윈도우의 구조적 한계를 드러낸다. 도구 호출 이력이 컨텍스트를 채우고, 과거 성공 경험이 새 시도를 억제한다. 인간의 습관 형성과 기능적으로 유사한 메커니즘이다.
이 연구가 제시하는 가장 깊은 질문: 에이전트의 인지 유연성을 어떻게 정의하고 측정할 것인가? 단일 턴의 정확도가 아니라, 환경 변화에 대한 적응력이라는 차원에서.
더 실습해보고 싶은 분들께
에이전트 하네스와 도구 사용 루프를 직접 설계하고 싶다면, 다음 두 자료를 추천한다:
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 하네스의 실전 활용 패턴 50가지
- 「모두를 위한 루프 엔지니어링」 — 도구 사용 루프와 컨텍스트 설계의 기초부터 심화까지
이 연구의 벤치마크 코드는 GitHub에 공개되어 있다. 자신의 에이전트가 얼마나 인지 경직적인지 직접 테스트해볼 수 있다.