Anthropic이 공개한 Claude Opus 5 종합 벤치마크 표. 첫 인상은 단순히 “점수가 올랐다”가 아니라, 코딩·지식 업무·컴퓨터 사용·자동화 워크플로우에서 Opus 5를 매일 쓰는 모델로 밀겠다는 포지셔닝이다.

Anthropic이 Claude Opus 5를 공개했습니다. 문장 하나로 줄이면 이렇습니다. “Fable 5에 가까운 지능을 절반 가격으로, Opus 4.8과 같은 가격에 제공하겠다.”

그런데 발표문을 끝까지 읽으면, 이건 단순한 모델 성능 업데이트가 아닙니다. Anthropic이 Opus 5를 매일 쓰는 에이전트 모델로 다시 배치하고 있다는 느낌이 강합니다. 코딩, 지식 업무, 브라우저/컴퓨터 사용, 업무 자동화, 그리고 안전장치까지 하나의 메시지로 묶여 있습니다.

그래서 이번 글은 인터뷰체로 정리해보겠습니다. 발표문을 그대로 요약하기보다, “그래서 실제로 무엇이 달라졌다는 말인가?”를 묻는 방식입니다.

“Opus 5를 한마디로 설명하면 뭔가요?”

Q. Opus 5 발표의 핵심을 하나만 꼽으면 뭘까요?

A. Anthropic의 표현을 빌리면 **‘Claude Fable 5의 frontier intelligence에 가까운데, 가격은 절반’**이라는 점입니다. Opus 5는 Opus 4.8과 같은 가격, 즉 API 기준 입력 100만 토큰당 5달러, 출력 100만 토큰당 25달러로 나왔습니다. Fast mode는 기본 대비 약 2.5배 빠르고, 가격은 두 배입니다.

하지만 저는 가격 문구보다 “어디에 쓰라고 만든 모델인가”가 더 중요해 보입니다. Anthropic은 Opus 5를 Claude Max의 새 기본 모델, Claude Pro에서 가장 강한 모델이라고 설명합니다. 최고급 모델을 실험실용으로만 두는 게 아니라, 일상 업무의 기본값으로 내려보내는 전략입니다.

Q. 그러면 Fable 5보다 좋은 모델은 아닌가요?

A. 아닙니다. 발표문에서도 Opus 5가 모든 면에서 최강이라고 말하지 않습니다. Fable 5는 여전히 일부 고난도 영역에서 앞서는 모델로 남아 있습니다. 다만 Opus 5는 비용 대비 성능, 작업 안정성, 반복 검증, 장시간 업무 수행 쪽에 포인트를 둡니다.

이 구도가 흥미롭습니다. 예전에는 “가장 똑똑한 모델 하나”가 주인공이었습니다. 이제는 “어떤 비용과 속도로, 얼마나 오래, 얼마나 안정적으로 일하느냐”가 모델 선택의 기준이 됩니다.

Claude Opus 5 소개용 히어로 이미지. Anthropic은 이 모델을 최상위 연구용 모델이라기보다, 매일 쓰는 고성능 기본 모델로 배치한다.

“코딩 벤치마크에서는 뭐가 달라졌나요?”

Q. 코딩 쪽 숫자가 제일 먼저 눈에 들어옵니다. 어떤 결과가 핵심인가요?

A. Anthropic은 Frontier-Bench v0.1에서 Opus 5가 모든 모델을 앞섰고, Opus 4.8보다 낮은 태스크당 비용으로 두 배 이상 성능을 냈다고 설명합니다. CursorBench 3.2에서는 max effort 기준 Fable 5의 최고점에 0.5% 이내로 접근하면서, 태스크당 비용은 절반 수준이라고 합니다.

여기서 중요한 단어는 effort setting입니다. 고객이 모델의 추론 강도, 쉽게 말해 “얼마나 힘을 써서 풀 것인가”를 조절할 수 있고, 그에 따라 비용과 성능을 맞춘다는 구조입니다. 모델 성능표가 이제 단일 점수가 아니라 비용-성능 곡선이 되는 겁니다.

Frontier-Bench v0.1 결과. Opus 5는 태스크당 비용 대비 점수에서 Opus 4.8을 크게 앞서고, Fable 5보다 낮은 비용 구간에서 강하게 올라간다.

Q. 왜 이게 에이전트 작업에서 중요할까요?

A. 에이전트는 한 번 답하고 끝나는 모델이 아닙니다. 파일을 읽고, 계획을 세우고, 코드를 고치고, 테스트를 돌리고, 실패하면 다시 고칩니다. 이 과정에서 토큰과 시간이 계속 쌓입니다. 그래서 “최고점”보다 더 중요한 질문이 생깁니다. 이 모델은 같은 돈으로 몇 번 더 시도할 수 있는가? 실패했을 때 스스로 돌아볼 여유가 있는가?

Opus 5 발표문은 이 질문에 계속 답합니다. CursorBench, Artificial Analysis Coding Agent Index, Frontier-Bench 모두에서 “같은 성능을 더 싸게” 또는 “같은 비용에서 더 높게”라는 메시지를 반복합니다.

CursorBench 3.2 결과. Opus 5는 Fable 5 최고점에 근접하면서도 비용은 낮게 유지한다고 설명된다.

Artificial Analysis Coding Agent Index. 코딩 에이전트 평가에서도 Opus 5는 상위권 비용-성능 곡선에 놓인다.

“지식 업무와 컴퓨터 사용에서는요?”

Q. 코딩 말고 일반 업무에서는 어떤 지점이 강조됐나요?

A. ARC-AGI 3, GDPval-AA, OSWorld 2.0, AutomationBench가 핵심입니다. 발표문에 따르면 ARC-AGI 3에서는 Opus 5 점수가 다음 모델 대비 세 배 수준이고, Zapier AutomationBench에서는 같은 비용 기준 다음 모델보다 약 1.5배 높은 pass rate를 냈습니다. OSWorld 2.0에서는 Fable 5의 최고 결과를 3분의 1 조금 넘는 비용으로 넘어섰다고 합니다.

이 벤치마크 이름만 보면 추상적인데, 실제 의미는 꽤 구체적입니다. 새 문제를 풀고, 문서와 표를 다루고, 브라우저/컴퓨터를 조작하고, 업무 프로세스를 끝까지 완수하는 능력입니다. 요즘 우리가 “에이전트”라고 부르는 작업의 핵심 묶음입니다.

ARC-AGI-3 결과. Anthropic은 Opus 5가 새로운 문제 해결 평가에서 다음 모델 대비 약 세 배 높은 점수를 냈다고 설명한다.

Q. GDPval-AA는 왜 자주 언급되나요?

A. GDPval-AA는 실제 지식 업무에 가까운 과제를 평가하려는 벤치마크입니다. 단순 퀴즈보다 “현실 업무 산출물”에 가까운 쪽입니다. Anthropic은 Opus 5가 이 평가에서 state-of-the-art라고 주장합니다.

여기서 방향성이 보입니다. 모델 회사들이 이제 “수학 문제 잘 품”만으로는 부족하다는 걸 알고 있습니다. 보고서, 스프레드시트, 리서치, 계약서, 코드베이스, 브라우저, 업무 앱이 섞인 작업을 끝까지 처리해야 합니다. Opus 5는 바로 이 영역을 겨냥합니다.

GDPval-AA v2 결과. 실제 지식 업무에 가까운 평가에서 Opus 5가 가장 높은 Elo 점수를 보였다고 제시된다.

OSWorld 2.0 결과. 컴퓨터 사용 벤치마크에서 Opus 5는 비용 대비 가장 높은 성능을 보인다고 설명된다.

“사례를 보면 정말 에이전트처럼 움직이나요?”

Q. 발표문에서 가장 인상적인 사례는 무엇이었나요?

A. 저는 Frontier-Bench의 FreeCAD 사례가 제일 눈에 띄었습니다. 모델에게 기계 부품 도면을 주고 3D FreeCAD 모델로 재구성하라고 했는데, 의도적으로 도면을 직접 볼 수 없는 환경이었다고 합니다. Opus 5는 거기서 멈추지 않고, 원시 픽셀에서 기하 정보를 뽑는 자체 컴퓨터 비전 파이프라인을 작성한 뒤 부품을 재구성했습니다. 같은 조건의 경쟁 모델들은 다섯 번 시도해도 해결하지 못했다고 합니다.

이 사례가 말하는 건 “비전도 잘한다”가 아닙니다. 막히면 도구를 만들어서 우회한다는 이야기입니다. 장기 에이전트 작업에서 정말 중요한 능력입니다. 사용자가 모든 도구와 절차를 완벽히 깔아주지 않아도, 모델이 필요한 중간 도구를 스스로 구성하는 방향입니다.

Q. 버그 수정 사례도 있던데요.

A. 네. 실제 오픈소스 패키지 매니저의 버그에서 Opus 5가 근본 원인을 찾고, 커뮤니티 패치가 놓친 edge case까지 고쳤다고 합니다. 반면 경쟁 모델은 표면 증상만 고치고 문제 해결을 보고했다고 되어 있습니다.

이건 개발자들이 모델을 믿기 어려워하는 지점과 맞닿아 있습니다. 코드를 고쳤다고 말하는 것과 실제로 원인을 이해한 것은 다릅니다. Opus 5 발표문에서 계속 반복되는 단어가 verify, iterate, root-cause, judgment인 이유입니다.

Humanity’s Last Exam with tools 결과. 도구 사용이 허용된 다학제 추론 평가에서도 Opus 5가 높은 통과율을 보였다고 제시된다.

“고객 코멘트에서 반복되는 말은 뭔가요?”

Q. early-access 고객 반응이 길게 붙어 있습니다. 공통 키워드가 있나요?

A. 있습니다. 판단력, 검증, 안정성, 긴 작업, 더 적은 토큰입니다.

Cursor는 Opus 5가 Fable 5 바로 아래 성능과 유사한 행동을 보인다고 말합니다. Zapier는 AutomationBench에서 계정 상태 workbook을 받아 churn-prevention sequence를 끝까지 돌렸고, 이전 모델은 통과하지 못했지만 Opus 5는 100%를 찍었다고 말합니다. Lovable은 어려운 agentic coding task에서 Opus 4.7 대비 22% 개선됐고, 실행 간 분산이 줄었다고 말합니다.

여러 금융·법률·리서치 회사의 코멘트도 비슷합니다. 더 적은 turn과 tool call, 더 낮은 latency, 더 나은 table work, 더 좋은 redline, 더 깨끗한 diff, 더 높은 performance floor. 화려한 말보다 실무자가 좋아할 만한 표현이 많습니다. “한 번 더 확인하고 넘겨준다”, “브랜치와 PR 템플릿을 확인한다”, “디자인 제안에 무조건 따르지 않고 반박한 뒤 타협안을 낸다” 같은 문장이 그렇습니다.

AutomationBench 결과. 업무 자동화 워크플로우에서 Opus 5는 같은 비용 기준 다음 모델보다 높은 pass rate를 보인다고 설명된다.

Q. 이게 왜 중요한가요?

A. 모델을 도입할 때 가장 비싼 건 토큰 가격만이 아닙니다. 사람이 다시 확인하는 시간, 실패한 작업을 되돌리는 시간, 모델이 엉뚱한 확신으로 밀어붙였을 때 생기는 리스크가 더 큽니다.

그래서 “정답률이 몇 점 올랐다”보다 “스스로 확인하고, 이상하면 멈추고, 사용자 판단이 필요한 지점을 구분한다”가 더 중요해집니다. Opus 5가 정말 그 방향으로 좋아졌다면, 이건 코딩 에이전트뿐 아니라 법률 검토, 금융 분석, 과학 연구, 사내 자동화에서도 의미가 있습니다.

DeepSearchQA 결과. 검색 기반 에이전트 작업에서도 Opus 5가 높은 pass rate를 보였다고 제시된다.

“과학 연구 쪽 개선은 어느 정도인가요?”

Q. 발표문에 life sciences 얘기도 있습니다. 어떤 내용인가요?

A. Anthropic은 Opus 5가 Opus 4.8보다 모든 life sciences 평가에서 나아졌다고 말합니다. 구조생물학, 유기화학, 생물정보학을 포함한 내부 평가입니다. 특히 분광 데이터에서 분자 구조를 추론하는 유기화학 과제는 Opus 4.8보다 10.2%p 높았고, 단백질 서열 변이가 기능에 미치는 영향을 예측하는 과제는 7.7%p 높았다고 합니다.

다만 여기서도 발표문은 선을 긋습니다. Opus 5는 일반 접근 가능한 모델 중 과학 연구에 가장 강한 모델이 되었지만, 장기간 자율 연구 과제에서는 여전히 중요한 한계가 있다고 말합니다. 그리고 생물학 관련 장기 자율 연구 위험에서는 Mythos 5가 더 강한 모델로 남아 있다고 설명합니다.

이 대목은 Anthropic답습니다. 능력 향상을 말하면서도, 위험 능력의 frontier를 어디로 보느냐를 같이 적습니다.

“안전성과 정렬은 어떻게 설명하나요?”

Q. 안전 파트에서 Anthropic이 가장 강조하는 문장은 뭔가요?

A. Opus 5가 “to date, our most aligned model”이라는 주장입니다. 자동 행동 감사에서 Opus 5의 overall misaligned behavior 점수는 2.3으로, 최근 모델 중 가장 낮다고 제시합니다. 낮을수록 정렬 행동이 좋다는 의미로 읽으면 됩니다.

흥미로운 건 이 모델이 더 강해졌는데도, Anthropic은 “위험한 dual-use capability의 frontier를 진전시키지는 않는다”고 말한다는 점입니다. 생물학 연구와 공격적 사이버 보안에서는 Mythos 5보다 뒤에 있다고 설명합니다.

자동 행동 감사 결과. Opus 5는 overall misaligned behavior 점수 2.3으로 최근 모델 중 가장 낮다고 제시된다.

Q. 사이버 보안 쪽은 어떻게 막나요?

A. Opus 5는 취약점 찾기 자체는 허용하되, binary-based vulnerability scanning, penetration testing, exploit generation 같은 더 위험한 작업은 차단하는 쪽으로 설계됐다고 합니다. Anthropic은 Opus 5의 사이버 분류기가 Fable 5보다 비례적으로 덜 제한적이며, Fable 5 대비 약 85% 적게 개입할 것으로 예상한다고 설명합니다.

또 Claude.ai, Claude Code, Claude Cowork에서 Opus 5 또는 Fable 5 요청이 안전 분류기에 걸리면 기본적으로 Opus 4.8로 fallback됩니다. API에서도 automatic fallbacks를 켤 수 있습니다. 차단으로 끝내기보다, 가능한 경우 덜 위험한 모델로 라우팅하는 구조입니다.

OSS-Fuzz 결과. Opus 5는 취약점 식별에서는 Mythos 5와 비슷한 수준에 접근하지만, exploit 개발에서는 Mythos 5보다 훨씬 낮게 유지된다고 제시된다.

“개발자 입장에서는 바로 뭐가 바뀌나요?”

Q. API나 플랫폼 업데이트도 있나요?

A. 두 가지 beta 업데이트가 같이 나왔습니다.

첫째, mid-conversation tool changes입니다. 대화 중에 Claude가 사용할 수 있는 도구를 바꿔도 prompt cache를 무효화하지 않는 기능입니다. 에이전트 워크플로우에서는 꽤 중요합니다. 처음에는 파일 읽기만 허용했다가, 검증 단계에서 브라우저나 테스트 도구를 열어주는 식의 설계가 가능해집니다.

둘째, automatic fallbacks입니다. 안전 분류기에 걸린 요청을 무조건 막는 대신, 다른 모델로 자동 라우팅할 수 있습니다. 안전장치와 업무 연속성 사이의 마찰을 줄이려는 기능입니다.

Q. 결국 Opus 5는 어떤 사람에게 의미가 클까요?

A. 제일 먼저는 코딩 에이전트를 매일 쓰는 개발자입니다. 특히 단발성 코드 생성이 아니라, 큰 코드베이스에서 원인 분석, 테스트, PR handoff까지 맡기는 경우입니다.

두 번째는 지식 업무 자동화를 진짜 업무로 붙여보려는 팀입니다. 표, 문서, 검색, 브라우저, 사내 도구가 섞인 작업을 끝까지 밀어야 하는 팀입니다.

세 번째는 안전장치 때문에 frontier 모델 사용이 불편했던 기업입니다. Opus 5는 Fable 5보다 덜 제한적이면서도, 위험 작업은 fallback이나 classifier로 다루려는 중간 지점을 제시합니다.

“이번 발표를 어떻게 읽어야 하나요?”

Q. 마지막으로, 이 발표의 의미를 한 문장으로 정리하면요?

A. Opus 5는 “가장 똑똑한 모델” 경쟁보다 가장 오래 믿고 맡길 수 있는 실무형 에이전트 모델 경쟁에 가까워 보입니다.

앞으로 모델 선택은 더 복잡해질 겁니다. 최고 성능 모델, 빠른 모델, 싼 모델, 안전한 모델, 도구 사용에 강한 모델, 장기 작업에 강한 모델이 한 줄로 서지 않습니다. 작업마다 다른 조합이 필요합니다.

그래서 Opus 5에서 제가 보는 핵심은 점수표 하나가 아닙니다. 모델이 답변 생성기에서 업무 수행자로 넘어갈 때, 무엇을 증명해야 하는지가 바뀌고 있다는 점입니다. 정답만 맞히는 게 아니라, 확인하고, 반복하고, 멈출 줄 알고, 비용 안에서 끝까지 가야 합니다.

Opus 5 발표문은 그 방향으로 꽤 선명하게 말합니다. 이제 모델의 질문은 “얼마나 똑똑한가”에서 끝나지 않습니다. 얼마나 믿고 오래 맡길 수 있는가로 옮겨가고 있습니다.


원문: Anthropic, Introducing Claude Opus 5

에이전트와 루프 설계를 직접 실습해보고 싶은 분들은 코난쌤의 오픈클로 활용서AI 에이전트 실전 강의: 모두를 위한 루프 엔지니어링도 참고해보셔도 좋습니다. 모델이 좋아질수록, 결국 차이는 “어떤 루프로 검증하고 다시 시도하게 만들 것인가”에서 납니다.