한 줄 요약
LLM이 길게 생각할 때 가장 많이 낭비되는 패턴은 **자가 반복 루프(self-loop)**다. 모델이 이미 정답 근처에 도달해 있으면서도, 끊임없이 같은 검증·재질문 단계를 반복하며 토큰 예산을 소진한다. SOPHIA(Steering Of reasoning Processes via Hidden-state Intervention and Activations)는 추론 과정을 잠재 상태(latent state)의 전이 시퀀스로 모델링하고, 상태 간 전이 벡터를 활성화 공간에서 추출해 루프를 실시간으로 감지·차단한다. 추가 학습 없이, 추론 품질과 토큰 효율을 동시에 끌어올린다.
문제: 긴 추론의 역설
OpenAI o1 이후, 대형 추론 모델(Large Reasoning Models, LRM)은 체인오브소트(CoT)를 통해 복잡한 문제를 단계적으로 풀어낸다. 하지만 길게 생각한다고 항상 더 나은 답이 나오는 것은 아니다.
SOPHIA 논문은 네 개의 추론 벤치마크(gsm8k, aqua, logiqa, math)에서 정답과 오답 궤적의 토큰 길이를 비교한다. 결과는 명확하다.
오답을 낸 추론 궤적이 정답 궤적보다 모든 데이터셋에서 일관되게 더 많은 토큰을 소비한다. 더 생각했다고 더 깊이 이해한 것이 아니라, 늪에 빠져 허우적거린 것이다.
이 늪의 정체를 SOPHIA는 잠재 추론 상태(latent reasoning state)의 자가 루프로 규정한다. 모델이 문제를 풀면서 거치는 “설정 → 탐색 → 계산 → 검증 → 통합”의 단계들이 하나의 상태 그래프를 형성하는데, 오답 궤적에서는 이 그래프의 대각선(self-loop)이 비정상적으로 두꺼워진다. 같은 상태 안을 맴도는 것이다.
위 예시에서 모델은 초반에 올바른 값($64)을 도출했음에도, 이후 여러 차례 재검증과 재질문을 반복하며 토큰을 낭비한다. 보라색 영역이 의미 있는 계산이고, 빨간색 영역이 자가 루프다.
핵심 통찰: 전이 수준의 제어
기존의 추론 제어 방법은 크게 두 갈래다.
- 강화학습 기반(L1, SCoRe): 정책 전체를 재훈련. 비용이 크고, 배포 후 개입 불가.
- 프롬프트 기반: thought-switching 패널티, underthinking 트리거 삽입 등. 토큰 스트림의 표면에서만 작동.
SOPHIA는 세 번째 길을 제시한다: **잔여 스트림(residual stream) 활성화 조향(activation steering)**을 전이(transition) 수준에서 적용하는 것.
핵심 발상은 이렇다. 추론 궤적을 K개의 잠재 상태(K=5)로 분할하고, 각 상태에서 “다음 상태로 넘어가는(step forward)” 궤적과 “같은 상태에 머무는(self-loop)” 궤적의 잔여 활성화 평균을 비교한다. 그 차이 벡터가 바로 탈출 방향이다.
이 벡터를 self-loop가 감지된 순간에 모델의 잔여 스트림에 더해주면, 모델은 같은 상태를 맴도는 대신 다음 추론 단계로 전이하게 된다.
방법론: 3단계 오프라인 + 1단계 온라인
Stage I: 단계 임베딩
추론 궤적을 문장 단위로 세그먼트화한다. 담화 표식(discourse marker) 기준으로 자르되, 각 세그먼트를 베이스 참조 모델(Qwen3-4B-Base)의 마지막 층 은닉 상태 평균으로 임베딩한다.
Stage II: K-평균 클러스터링
임베딩된 세그먼트를 K=5개 클러스터로 묶는다. 클러스터 라벨은 사전 정의하지 않는다. 데이터가 스스로 말하게 한다. 결과적으로 “설정(setup) → 탐색(exploration) → 계산(calculation) → 검증(verification) → 통합(consolidation)“의 자연스러운 궤적이 드러난다.
Stage III: 전이 벡터 추출
각 클러스터 c, 각 디코더 층 ℓ에 대해:
- crosser: 클러스터 c에서 다른 클러스터로 이탈한 스텝들의 잔여 활성화 평균
- stayer: 클러스터 c에 머문 스텝들의 잔여 활성화 평균
- 둘의 차이 = 전이 벡터
이 벡터는 이론적으로 Fisher 선형 판별分析与(Linear Discriminant Analysis)와 일치한다. 클래스 공분산이 등방성(isotropic)이라면 단순 평균 차이가 최적의 판별 방향이 된다.
Stage IV: 온라인 컨트롤러
추론 시, 매 스텝이 끝날 때마다:
- 현재 스텝을 클러스터 공간으로 분류
- 자가 루프 감지 (같은 클러스터 연속 머물기)
- 해당 클러스터의 전이 벡터를 잔여 스트림에 주입
- 모델이 다음 상태로 전이하도록 유도
외부 감독 없이, 전이 구조만으로 루프를 감지하고 차단한다.
전이 구조의 발견
히트맵에서 대각선이 압도적으로 두껍다. 모델의 추론 스텝 대부분이 같은 상태 안에 머무는 전이라는 뜻이다. 특히 오답 궤적에서 이 대각선이 더 두꺼워진다.
클러스터를 평균 등장 위치로 재정렬하면, 정상 궤적은 좌하단에서 우상단으로 향하는 띠(band)를 형성한다. 이는 추론이 설정 단계에서 통합 단계로 자연스럽게 진행됨을 보여준다.
정량 결과
SOPHIA의 전이 벡터가 정말로 루프를 깨는지 검증하기 위해, 30개의 stayer prefix에 대해 조향을 적용한 히트율을 측정했다. 세 모델(Qwen3-4B, Qwen3-4B-Base, Qwen3-8B)과 네 데이터셋에서 일관되게 높은 탈출률을 보인다.
t-SNE 투영에서도 클러스터가 명확히 분리되어 있으며, 서로 다른 전이 유형이 활성화 공간에서 별개의 방향을 형성한다. 이는 “하나의 전역 벡터로 모든 루프를 깰 수 있다”는 가정이 틀렸음을 시각적으로 확인시켜준다.
종합 테이블에서 SOPHIA는 정답 정확도(ast), 토큰 효율(token efficiency), 그리고 self-loop 해소 측면에서 기준선 대비 일관된 개선을 보여준다.
왜 중요한가
1. 추론 제어의 단위가 바뀐다
지금까지의 제어는 “전체적으로 더 생각하게” 또는 “전체적으로 덜 생각하게”였다. SOPHIA는 **“지금 이 순간에, 이 상태에서, 다음 상태로”**라는 정밀한 단위를 제공한다.
2. 학습이 필요 없다
전이 벡터는 기존 추론 궤적에서 추출한다. 모델 가중치를 수정하지 않는다. 새로운 데이터로 클러스터와 벡터를 갱신하기만 하면 된다.
3. 에이전트 루프와 직접 연결된다
LLM 에이전트의 하네스(harness)가 해결하려는 문제 중 하나가 바로 이 “무한 루프”다. 에이전트가 같은 도구를 반복 호출하거나, 같은 검색을 반복하거나, 같은 계산을 재검증하는 현상. SOPHIA의 전이 수준 접근은 에이전트 하네스 설계에 직접적인 시사점을 준다: 루프를 끊기 위해 프롬프트를 바꾸는 대신, 활성화 공간에서 방향을 하나 더해주면 된다.
4. 해석 가능성과 제어의 접점
SOPHIA는 추론 과정을 클러스터라는 해석 가능한 단위로 분해하고, 그 단위 간 전이를 제어 가능한 벡터로 표현한다. “모델이 무엇을 하고 있는지”와 “어떻게 개입할 것인지”가 같은 프레임 안에서 다뤄진다.
한계와 논의
- 클러스터 수 K: 하이퍼파라미터다. 논문은 K=5를 사용하지만, 최적값은 데이터와 모델에 따라 다를 수 있다.
- 범용성: Qwen3 계열에서 검증되었다. 다른 모델 패밀리(GPT, Claude, Gemini)에서도 동일한 구조가 나타나는지는 추가 검증이 필요하다.
- 상태 라벨링: 클러스터의 의미 해석은 사후적으로 LLM-as-judge로 수행된다. 클러스터링 자체는 라벨 없이 작동하지만, 결과 해석은 여전히 인간의 판단에 의존한다.
- 온라인 오버헤드: 매 스텝마다 분류와 조향을 수행하는 비용이 실시간 추론에 미치는 영향은 더 정밀하게 측정되어야 한다.
더 실습해보고 싶은 분들께
LLM 에이전트의 추론 루프를 제어하고, 하네스를 최적화하고, 컨텍스트 엔지니어링의 실전 감각을 키우고 싶다면 아래 두 가지를 추천합니다.
- 『이게 되네? 오픈클로 미친 활용법 50제』 — 에이전트 자동화와 도구 활용의 실전 사례를 폭넓게 다룹니다.
- 「모두를 위한 루프 엔지니어링」 — 추론 루프와 에이전트 하네스 설계를 체계적으로 배울 수 있는 강의입니다.
SOPHIA가 보여준 것은 “더 생각하게 만드는 것”이 아니라 “생각의 방향을 잡아주는 것”이다. 활성화 벡터 하나로 루프를 깨는 이 접근이 에이전트 설계에 가져올 파장이 궁금하다면, 두 자료에서 더 깊이 들여다볼 수 있다.
참고문헌