OpenAI는 기반 모델 가중치를 변경하는 대신 두 개의 API 설정을 켜는 것만으로 ARC-AGI-3 벤치마크에서 GPT-5.6의 성능을 크게 개선했다고 밝혔으며, 이는 추론 시점의 설정이 주요 성능 레버라는 점에 다시금 주목하게 한다.

OpenAI의 글 “How enabling two settings tripled our scores on the ARC-AGI-3 benchmark”에 따르면, retained reasoning과 compaction의 조합이 ARC-AGI-3에서 GPT-5.6의 점수와 효율을 모두 끌어올렸다. 벤치마크 논의는 보통 모델 출시와 학습 규모에 초점이 맞춰지지만, 여기서 OpenAI는 API 내부의 배포 선택이 측정된 능력을 크게 바꿀 수 있다고 주장한다.

OpenAI가 무엇을 바꿨다고 말하는가

공식 OpenAI 설명은 개선의 원인을 두 가지 설정, retained reasoning과 compaction으로 설명한다. 회사의 요약에 따르면, 이 변경으로 ARC-AGI-3 점수가 세 배가 되었고 효율도 향상됐다. 공개된 स्रोत에는 전체 게시글이 포함되어 있지 않아, OpenAI가 각 설정을 실제 운영 관점에서 어떻게 정의하는지, 무엇을 기준 구성으로 비교했는지, 그리고 결과가 단일 최적 실행인지 더 넓은 평가 설정인지 등 일부 구현 세부사항은 여전히 불분명하다.

그런 한계가 있더라도 이 사건이 주목할 만한 이유는 단순하다. 성능 논의의 일부를 모델 학습에서 실행 시 오케스트레이션으로 옮기기 때문이다. 모델이 중간 추론 상태를 더 많이 유지하고 그 상태를 더 효과적으로 압축할 수 있게 되었을 때 벤치마크 점수가 크게 움직인다면, 실제 경쟁 단위는 더 이상 기본 모델만이 아니다. 기본 모델과 추론 정책의 조합이다.

이 구분은 OpenAI API 위에서 개발하는 팀에게 특히 중요하다. 개발자들은 종종 모델 선택을 주요 변수로 보고 기본 설정은 그대로 두곤 한다. OpenAI의 주장은 적어도 여러 단계의 추론이나 적응적 문제 해결이 보상되는 작업에서는, 그런 가정이 이제 너무 단순할 수 있음을 시사한다.

ARC-AGI-3가 중요한 이유

ARC-AGI-3는 ARC 스타일 평가와 관련된 추상화 및 추론 테스트 계열에 속한다. 이런 벤치마크는 단순한 암기나 좁은 과업 튜닝이 아니라 일반화와 패턴 추론을 시험하려 하기 때문에 주의 깊게 관찰된다. 실제로는 표준적인 코딩, 글쓰기, 검색 작업에서는 비슷하게 들리는 모델들 사이의 차이를 드러내는 경우가 많다.

OpenAI에게 ARC-AGI-3 결과를 강조하는 일은 두 가지 목적을 가진다. 첫째, GPT-5.6이 서빙 스택이 내부 추론 과정을 더 많이 보존할 때 더 잘 작동할 수 있다는 회사의 주장을 뒷받침한다. 둘째, 새로운 foundation model을 발표하지 않고도 성능 향상을 이야기할 수 있는 방법을 제공한다.

모델 출시는 비용이 많이 들고, 잦은 벤치마크 업데이트는 금세 소음 속에 묻히는 시장에서는 이것이 중요할 수 있다. 공급업체가 추론 설정을 통해 측정 가능한 향상을 이끌어낼 수 있다면, 다음 대규모 학습 주기를 기다리는 것보다 실제 워크로드를 더 빠르게 개선할 수 있다.

다만 벤치마크의 의미는 재현 가능성과 범위에 달려 있다. 여기 제공된 출처에는 ARC-AGI-3의 정확한 방법론, 합격 기준, 더 넓은 비교 집합이 포함되어 있지 않다. 따라서 외부 독자들은 단일 벤치마크 주장으로 모든 기업 워크플로에 일반화하지 않도록 주의해야 한다.

더 깊은 신호: 추론 설정이 제품 기능이 되고 있다

OpenAI의 글에서 가장 강력한 메시지는 점수 자체가 아닐 수도 있다. 바로 추론 제어가 일급 제품 기능이 되고 있다는 생각이다. 다시 말해, 모델은 하나의 레이어일 뿐이며, 이전 추론 단계의 기억, 그 추론의 압축, 그리고 기타 런타임 제어가 결과를 실질적으로 바꿀 수 있다.

이는 GPT-5.6을 평가하는 방식에 직접적인 영향을 준다. AI 에이전트 워크플로, 코딩 어시스턴트, 또는 복잡한 내부 의사결정 지원 도구를 시험하는 팀은 이제 단일 기본 엔드포인트가 아니라 여러 서빙 구성을 벤치마크해야 할 수도 있다. 같은 모델 패밀리라도 retained reasoning을 켰는지, compaction을 어떻게 적용했는지에 따라 비용, 지연 시간, 품질이 달라질 수 있다.

엔터프라이즈 AI 구매자에게도 이는 양면성을 가진다. 긍정적인 면에서는 더 나은 설정이 모델 이전이나 대규모 파인튜닝, 과도한 프롬프트 엔지니어링 없이 더 강한 결과를 제공할 수 있다. 더 어려운 면에서는 조달 및 플랫폼 팀이 단순한 리더보드 스크린샷이 아니라 운영 투명성으로 공급업체를 비교해야 한다. 만약 어떤 공급업체의 최고 성능이 숨겨져 있거나 특수한 런타임 설정에 의존한다면, 구매자는 그 설정이 일반적으로 사용 가능한지, 비용은 얼마인지, 그리고 실제 트래픽에서 얼마나 안정적인지 알고 싶어 할 것이다.

이것은 경쟁 플랫폼에 대한 신호이기도 하다. Anthropic, Google, Microsoft 같은 기업들은 이미 문맥 처리, 추론 행동, 에이전틱 워크플로를 각기 다른 방식으로 이야기하고 있다. OpenAI가 retained reasoning과 compaction을 강조한 것은 이 경쟁에 또 하나의 차원을 더한다. 즉, 배포를 지나치게 복잡하게 만들지 않으면서도 가장 유용한 추론 제어를 누가 제공하는가 하는 문제다.

증거, 벤치마크, 그리고 아직 검증되지 않은 것들

이 이야기의 핵심 주장은 공급업체가 전한 것이다. 자세한 설명은 OpenAI News에서 왔고, 보다 넓은 기사도 같은 OpenAI의 틀을 따른다. 여기 제공된 증거에는 독립적인 제3자 평가가 없으며, 이용 가능한 자료에는 원시 점수표, 테스트 조건, 외부 재현도 포함되어 있지 않다.

확실하게 말할 수 있는 것은 제한적이지만 명확하다. OpenAI는 retained reasoning과 compaction을 활성화한 뒤 GPT-5.6이 ARC-AGI-3에서 더 나은 성능을 보였고, 그 변화를 효율 개선과 함께 점수 세 배 증가로 설명한다.

제공된 증거로는 확인할 수 없는 점도 마찬가지로 중요하다. 여기서는 절대 점수, 이전 기준선, 여러 실행에 걸친 결과 분포, 또는 compaction 효과를 반영하기 전에 새로운 설정이 추가 지연 시간이나 연산 예산을 얼마나 필요로 했는지 아직 검증할 수 없다. 또한 이 설정들이 OpenAI API 전반에서 널리 접근 가능한지, 아니면 특정 구성에서만 사용 가능한지도 불분명하다.

이것이 결과를 무효로 만드는 것은 아니지만, 어떻게 읽어야 하는지는 결정한다. 이것은 전체 시장의 확정된 순위라기보다 OpenAI의 제품 및 엔지니어링 신호로 이해하는 것이 가장 좋다. 연구자와 플랫폼 팀에게 다음 단계는 재현이다. 고객에게 다음 단계는 자신의 워크로드에서도 같은 패턴이 나타나는지 시험하는 것이다.

빌더와 엔터프라이즈 팀에 주는 의미

OpenAI API를 사용하는 개발자에게 즉각적인 교훈은 평가 관행을 다시 살펴보라는 것이다. retained reasoning과 compaction이 ARC-AGI-3에서 GPT-5.6에 실질적인 영향을 줄 수 있다면, 단발성 모델 비교는 더 실용적인 질문을 놓칠 수 있다. 특정 작업에 가장 좋은 품질 대비 비용을 주는 구성은 무엇인가 하는 질문이다.

이것은 특히 긴 사고 사슬, 반복적 도구 사용, 또는 대안에 대한 구조화된 탐색이 필요한 워크로드에서 중요하다. 여러 단계에 걸쳐 계획하는 AI 에이전트, 여러 후보 해결책을 수정하는 코딩 어시스턴트, 또는 정책·법률·운영 시나리오를 비교하는 엔터프라이즈 AI 시스템은 단순한 채팅이나 추출 파이프라인보다 retained reasoning의 혜택을 더 크게 받을 수 있다.

비용 관리 측면도 있다. OpenAI는 설정이 원시 점수뿐 아니라 효율도 개선했다고 말한다. 이것이 더 넓은 사용에서도 유지된다면, compaction은 토큰 증가나 다단계 작업의 런타임 오버헤드를 통제하려는 팀에게 중요해질 수 있다. 하지만 기업은 벤치마크 효율이 자동으로 실제 운영 절감으로 이어진다고 가정해서는 안 된다. 내부 테스트에서는 여전히 종단 간 지연 시간, 예산 상한, 장애 복구, 실제 트래픽에서의 일관성을 측정해야 한다.

제품 책임자에게도 이는 평가 스택이 성숙해야 한다는 또 다른 상기다. GPT-5.6과 다른 모델 사이를 고르는 것만으로는 충분하지 않다. 버전이 관리되는 구성 프로필, 비즈니스 과제에 연결된 벤치마크 세트, 그리고 추가 추론이 도움이 되는 때와 단지 비용만 늘리는 때를 관찰하는 가시성이 필요할 수 있다.

다음에 주목할 점

다음으로 유용한 신호는 OpenAI가 ARC-AGI-3에 대한 더 자세한 기술 정보를 공개하는지 여부다. 기준 조건, 점수 세부 내역, retained reasoning과 compaction의 작동 방식이 포함되어야 한다. 그것이 없으면 이 주장은 유익하지만 불완전하다.

또한 이 설정들이 안정적인 가격과 문서와 함께 OpenAI API에서 명확히 제공되는지도 중요하다. 쉽게 도입할 수 있다면, 기업 AI 배포에서 OpenAI를 Anthropic, Google, Microsoft와 비교하는 방식에 영향을 줄 수 있다.

또 다른 후속 질문은 이식성이다. 빌더들은 ARC-AGI-3에서 본 개선이 AI 에이전트, 코딩 어시스턴트 워크플로, 그리고 다른 추론 집약적 작업 같은 인접 사용 사례로 이어지는지 알고 싶어 할 것이다. 효과가 좁다면 이것은 벤치마크 이야기다. 효과가 넓다면 플랫폼 이야기다.

마지막으로 독립적인 재현을 지켜봐야 한다. 제3자 연구소, 벤치마크 유지자, 고객 엔지니어링 팀은 GPT-5.6이 OpenAI의 자체 보고 밖에서도 유사한 개선을 보이는지 테스트할 가능성이 높다. 그 결과에 따라 retained reasoning과 compaction이 엔터프라이즈 AI의 표준 평가 조정 요소가 될지 결정될 것이다.

Creati.ai 관점

OpenAI의 발표는 하나의 벤치마크보다 경쟁이 어디로 이동하고 있는지를 보여준다. 모델 성능의 중심은 정적 가중치에서 관리되는 추론 동작으로 이동하고 있다. AI 빌더에게 이는 제품 우위가 단계별로 모델이 어떻게 생각하는지, 어떤 상태를 유지하는지, 그리고 그 상태를 얼마나 효율적으로 압축하고 재사용하는지에서 점점 더 나오게 된다는 뜻이다.

실용적 시사점은 분명하다. 기업은 모델 벤치마크를 하나의 고정된 숫자로 취급하는 것을 멈춰야 한다. GPT-5.6, ARC-AGI-3, retained reasoning, compaction의 시대에는 성능이 구성 의존적이 되고 있다. 승자는 OpenAI API 안의 대표 모델 이름만이 아니라 전체 서빙 스택을 평가할 수 있는 팀이 될 것이다.