Codex CLI Terminal-Bench 91.9% 달성, 실제 체감 차이는 뭘까

Codex CLI Terminal-Bench 91.9% 달성

이 글에서 사용하는 주요 용어 정의

Terminal-Bench 2.1	터미널 환경에서 에이전트의 자율적 코딩·명령 수행 능력을 측정하는 업계 벤치마크
GPT-5.6 Sol Ultra	GPT-5.6 Sol의 최고 성능 모드, 여러 서브에이전트를 병렬 조율해 작업을 처리
협력형 서브에이전트	단일 사고 흐름 대신 여러 전문 서브에이전트가 실시간으로 소통·협업하는 구조
오라클 솔루션(Oracle Solution)	벤치마크 문제마다 준비된, 사람이 직접 작성한 정답 해결 방법
아웃컴 기반 채점(Outcome-driven)	에이전트가 실행한 명령이 아니라, 최종 결과 상태만으로 성공 여부를 판단하는 방식

---

도입

OpenAI가 2026년 6월 26일 GPT-5.6 Sol Ultra를 API와 Codex에 공개하면서, Terminal-Bench 2.1에서 91.9%라는 점수를 기록했습니다. 이는 현재 공개된 자율 개발 도구 중 최고 수준의 성적입니다. 단순히 숫자만 보면 감이 안 올 수 있어, Terminal-Bench가 정확히 무엇을 측정하는 벤치마크인지부터, 다른 모델들과 비교했을 때 이 점수가 어떤 의미인지까지 자세히 짚어보겠습니다.

---

Terminal-Bench가 정확히 뭘 측정하나

벤치마크 구조

Terminal-Bench는 에이전트가 샌드박스 터미널 환경에서 실제 개발 워크플로우(코드 컴파일, 모델 학습, 시스템 설정, 환경 디버깅 등)를 끝까지 완수할 수 있는지를 측정합니다. 과학 컴퓨팅, 소프트웨어 엔지니어링, 머신러닝, 보안, 시스템 관리, 데이터 과학 등 다양한 영역에 걸친 89개의 수작업 제작·인간 검증 태스크로 구성되어 있습니다.
각 태스크는 아래 4가지 요소로 이루어집니다.

[자연어 지시문]     — 무엇을 해야 하는지 설명
        │
[Docker 컨테이너]   — 실행 환경 제공
        │
[검증 테스트 스위트] — 완료 여부를 프로그램적으로 확인
        │
[오라클 솔루션]      — 사람이 작성한 정답 예시

채점 방식 — "어떻게"가 아니라 "결과"만 본다

Terminal-Bench의 핵심 특징은 아웃컴 기반 채점입니다. 에이전트가 어떤 명령을 실행했는지, 콘솔에 무엇을 출력했는지는 채점 대상이 아니고, 오직 최종 컨테이너 상태가 지시문의 목표를 달성했는지만 확인합니다. 즉 에이전트가 어떤 방식으로 접근하든 상관없이, 결과만 맞으면 통과하는 구조입니다.

버전 히스토리 — 2.0에서 2.1로

Terminal-Bench 2.0은 실제 워크플로우에서 착안한 89개 태스크로 엄선된 고난도 벤치마크였습니다. 이후 나온 2.1은 2.0의 "검증 리프레시" 버전으로, 약 12개 태스크에 걸쳐 있던 Dockerfile 오류나 지시문-테스트 불일치를 수정한 버전입니다. 즉 2.1 점수는 환경 자체의 결함이 아니라 순수하게 에이전트의 실력을 반영하도록 다듬어진 결과입니다.

---

핵심 내용

GPT-5.6 Sol Ultra는 뭐가 다른가

GPT-5.6 Sol Ultra는 단일 사고 흐름을 길게 이어가는 대신, 여러 전문 서브에이전트를 병렬로 조율해 장기 작업을 처리하는 구조로 이 점수를 기록했습니다. 서브에이전트들은 협력하도록 훈련되어 있고, 작업 중 서로 소통하며 실시간으로 컨텍스트를 공유합니다.

[일반 모드]
단일 에이전트가 순차적으로 사고 → 긴 작업일수록 컨텍스트 부담 누적

[Sol Ultra 모드]
       ┌─ 서브에이전트 A (탐색)
메인 ──┼─ 서브에이전트 B (구현)     → 실시간 소통·조율
       └─ 서브에이전트 C (검증)

89개 태스크 중에는 시스템 관리나 머신러닝 학습처럼 여러 단계를 순차적으로 거쳐야 하는 장기 작업이 다수 포함되어 있는데, 이런 태스크에서는 작업을 쪼개 병렬로 처리하는 구조가 단일 에이전트의 순차 처리보다 유리하게 작용한 것으로 풀이됩니다.

2026년 7월 기준 Terminal-Bench 2.1 점수 비교

GPT-5.6 Sol Ultra	91.9%
GPT-5.6 Sol (기본 모드)	85.77%
Claude Fable 5	80.52%
GPT-5.6 Luna	79.03%
Gemini 3.6 Flash	78.0%
Claude Sonnet 5	74.53%
Claude Opus 4.8	71.91%

몇 가지 짚어볼 지점이 있습니다. 먼저 Ultra 모드는 기본 모드(85.77%) 대비로도 약 6%p 더 높아, 같은 모델이라도 추론 모드에 따라 체감 성능이 크게 갈린다는 점을 보여줍니다. 또한 Claude 계열 안에서도 Fable 5(80.52%) → Sonnet 5(74.53%) → Opus 4.8(71.91%) 순으로 점수 차이가 나는데, 이는 "이름이 상위 등급"이라고 해서 반드시 특정 벤치마크에서 최고 점수를 내는 건 아니라는 점을 시사합니다.

왜 89개 태스크 구조가 중요한가

아웃컴 기반 채점 방식과 89개 태스크 구성은, 벤치마크 점수가 "말만 그럴듯하게 하는 능력"이 아니라 실제로 터미널에서 작업을 끝까지 완수하는 능력을 측정한다는 신뢰도를 높여줍니다. 다만 89개라는 태스크 수 자체는 실무에서 마주치는 무한히 다양한 상황에 비하면 제한적이므로, 벤치마크 점수를 "이 도구가 모든 상황에서 이 정도 성능을 낸다"는 보증으로 해석하기보다는 상대적인 순위 지표로 참고하는 것이 안전합니다.

실제 체감 차이는 어느 정도일까

• 접근성: 2026년 7월 기준 Sol Ultra는 OpenAI API·Codex의 일부 신뢰 파트너에게만 제한적으로 공개된 상태로, 아직 일반 사용자가 바로 체감하기는 어렵습니다.
• 비용/속도: 여러 서브에이전트를 동시에 운용하는 구조라 단일 에이전트 모드보다 연산 비용과 지연 시간이 늘어날 가능성이 있습니다.
• 적합한 작업: 짧은 코드 수정보다는, 89개 태스크 상당수가 그렇듯 여러 단계를 거치는 장기 자율 작업(대규모 리팩터링, 복잡한 디버깅 체인, 환경 구성)에서 점수 차이가 실제 체감으로 이어질 가능성이 큽니다.

---

마무리

91.9%라는 숫자 자체보다 중요한 건 두 가지입니다. 하나는 "협력형 서브에이전트 구조가 단일 에이전트보다 장기 작업에서 우위를 보인다"는 방향성이고, 다른 하나는 Terminal-Bench가 아웃컴 기반의 엄격한 검증 방식을 쓰는 벤치마크라 이 점수에 어느 정도 신뢰를 둘 수 있다는 점입니다. 다만 아직 제한적 프리뷰 단계이고 비용·지연 트레이드오프도 있는 만큼, 일반 공개 이후 실제 사용 후기를 조금 더 지켜본 뒤 도입 여부를 판단하는 게 좋겠습니다.

---

참고 자료

• Developers Digest - GPT-5.6 Sol Ultra Coming to Codex with Cooperative Subagents
• BenchLM.ai - Terminal-Bench 2.1 Leaderboard & Scores, July 2026
• vals.ai - Terminal-Bench 2.1
• Epoch AI - Terminal-Bench 2.0