NVIDIA는 곧 출시될 Vera Rubin NVL72 플랫폼이 실제 코딩 에이전트를 모사하도록 설계된 워크로드를 사용한 초기 측정 기준으로, 자사의 GB300 NVL72 시스템보다 메가와트당 최대 30배 더 높은 에이전틱 AI 처리량을 제공할 수 있다고 말한다. 이 주장은 다음 세대 AI 인프라의 핵심 전장이 단순한 초당 최대 토큰 수가 아니라 전력 효율성임을 보여준다.

회사는 이 결과를 두 개의 NVIDIA 블로그 글에 공개했으며, SemiAnalysis AgentX 벤치마크로 측정한 예비 데이터라고 설명했다. 해당 측정값은 아직 SemiAnalysis의 독립 검토를 받지 않았기 때문에, 결과는 중요하지만 여전히 벤더가 보고한 수치다. AI 구축자와 인프라 운영자에게 이 비교가 중요한 이유는, 다단계 에이전트가 일반적인 채팅 상호작용보다 훨씬 더 많은 컨텍스트와 모델 호출을 소비해 계산 수요와 전력 비용을 동시에 높이기 때문이다.

에이전트 워크로드가 인프라 방정식을 바꾸는 이유

전통적인 추론 벤치마크는 종종 고정된 길이의 프롬프트와 출력 길이를 사용한다. NVIDIA는 이러한 테스트가 반복적으로 추론하고, 도구를 호출하며, 하위 에이전트에 작업을 위임하고, 단계마다 확장되는 컨텍스트를 이어가는 에이전트를 제대로 반영하지 못한다고 주장한다.

회사는 OpenRouter 데이터를 인용하며, 에이전틱 요청은 일반 채팅 요청보다 약 15배 더 많은 토큰을 사용한다고 말한다. NVIDIA가 제시한 예에서 투자 리서치 에이전트는 금융 데이터베이스를 조회하고, 공시와 뉴스를 검색하며, 다른 모델에게 경쟁사 비교를 요청하고, 가치평가 분석을 수행한 뒤 권고안을 정리할 수 있다. 각 단계는 이후 단계의 입력이 되는 정보를 추가할 수 있다.

이 패턴은 여러 성능 압박을 동시에 만든다. 시스템은 긴 프롬프트를 처리하고, 키-값 캐시를 보존 및 재사용하며, 가변적인 출력 길이를 처리하고, 도구 실행 중의 일시 중지를 견뎌야 한다. 또한 고정된 합성 워크로드에서 단순히 총 처리량을 극대화하는 것이 아니라 여러 사용자에게 허용 가능한 응답 속도를 유지해야 한다.

NVIDIA의 결과는 DeepSeek V4 Pro와 Kimi K3, MiniMax M3, GLM5.3, Qwen3.5를 포함한 다른 대형 모델에 초점을 맞춘다. 핵심 비교는 72 GPU 규모 확장 도메인을 기반으로 구축된 랙 스케일 시스템 두 개, Vera Rubin NVL72와 GB300 NVL72 사이에서 이루어졌다.

NVIDIA가 측정한 것과 아직 검증되지 않은 것

NVIDIA는 Vera Rubin NVL72가 SemiAnalysis AgentX에서 GB300 NVL72보다 메가와트당 최대 30배 높은 AI 팩토리 처리량을 달성했다고 말한다. 개발자 대상 글은 이 비교가 AgentX DeepSeek V4 Pro 워크로드에서 사용자당 초당 160 토큰에서 이 결과에 도달했다고 명시한다. NVIDIA는 또한 이 결과가 동일한 전력 예산 내에서, 명시된 인터랙티브 서비스 목표를 유지한 처리량을 나타낸다고 말한다.

AgentX 벤치마크는 SemiAnalysis의 InferenceX 제품군에 속한 오픈소스 구성요소로 설명된다. 이는 기록된 Claude Code 세션을 단계별로 재생하며, 컨텍스트 증가, 입력 및 출력 길이, 추론 간격, 도구 호출 지연을 보존한다. 또한 벤치마크는 동시성을 변경하고, 첫 토큰까지의 시간 같은 지연 및 상호작용성 지표와 함께 메가와트당 처리량을 보고한다.

이러한 세부사항은 AgentX를 단일 고정 길이 요청 테스트보다 실제 에이전트 서비스에 더 가깝게 만들지만, 30배라는 수치를 독립적으로 검증된 업계 표준으로 만들지는 않는다. NVIDIA는 Vera Rubin 측정이 아직 SemiAnalysis의 검토를 기다리고 있다고 말한다. 회사는 또한 초기 데이터에 도구 호출을 위한 Vera CPU 성능이 포함되지 않았으며, 이는 전체 시스템 결과에 영향을 줄 수 있다고 지적한다.

NVIDIA는 같은 워크로드에서 다른 세대 비교도 보고한다. GB300 NVL72는 DeepSeek V4 Pro에서 H200 NVL8보다 메가와트당 최대 15배 높은 처리량을 제공하고, 훨씬 더 큰 Kimi K3 2.8T 모델에서는 메가와트당 최대 80배 높은 처리량을 제공한다고 한다. 또한 Vera Rubin은 GB300 NVL72와 비교해 백만 토큰당 비용을 최대 35배까지 줄일 수 있다고 주장한다. 이 수치들은 NVIDIA 측정값이며, 독립적으로 재현되기 전까지는 성능 주장으로 취급해야 한다.

효율성 주장 뒤의 시스템 설계

NVIDIA는 이러한 향상이 GPU 단독이 아니라 하드웨어, 네트워킹, 서빙 소프트웨어 전반의 조정된 변화에서 비롯된다고 설명한다. NVL72 설계는 72개의 GPU를 NVIDIA의 NVLink 패브릭으로 연결해, 플랫폼이 mixture-of-experts 연산을 분산하고 랙 규모 도메인 전반에서 캐시된 컨텍스트를 공유할 수 있게 한다.

회사는 6세대 NVLink와 그 스위치가 시판 Ethernet 대안보다 더 높은 패킷률과 낮은 지연 시간을 제공한다고 말한다. 이 연결성은 대규모 전문가 병렬 처리, 분산 키-값 캐싱, 이미 관련 컨텍스트를 보유한 GPU로의 요청 라우팅을 지원하기 위한 것이다.

소프트웨어 측면에서 NVIDIA는 prefill과 decode를 별도로 확장된 풀에서 실행하는 disaggregated serving을 강조한다. NVIDIA Dynamo 서빙 스택은 이러한 단계를 조정하고, 세션 정보를 사용하며, 부분적으로 캐시 중복에 따라 요청을 라우팅하도록 설계됐다. 이러한 기능은 동일한 작업이 긴 세션 동안 많은 관련 모델 호출을 만들어낼 수 있기 때문에 특히 에이전트에 중요하다.

NVIDIA는 또한 TensorRT-LLM, vLLM, SGLang을 더 넓은 서빙 생태계의 일부로 언급하며, DeepGEMM 기반 커널, 융합된 mixture-of-experts 실행, 저정밀 포맷도 함께 제시한다. 원문 자료는 플랫폼의 서로 다른 설명에서 NVFP4와 MXFP4/MXFP8 기술을 모두 언급한다. 이러한 방법은 메모리 사용량을 줄이고 산술 처리량을 높일 수 있지만, 실제 품질과 호환성의 절충은 모델과 배포 구성에 따라 달라진다.

회사는 별도로 자사의 DSX MaxLPS 전력 관리 기술이 동일한 메가와트 예산 내에서 최대 40% 더 많은 GPU를 배치할 수 있다고 말한다. 이것 역시 NVIDIA가 보고한 역량이지, AgentX 비교 자체에서 입증된 결과는 아니다.

이 결과가 AI 운영자에게 의미하는 것

헤드라인 수치가 독립 테스트를 통과한다면, 상업적 영향은 상당할 수 있다. AI 팩토리는 전력 가용성, 냉각 능력, 장시간 세션 제공 비용의 한계에 점점 더 직면하고 있다. 메가와트당 더 많은 에이전틱 작업을 수행할 수 있다면, 운영자는 기존 전력 할당으로 더 많은 고객을 обслуж일 수 있고, 고정된 사용 수준을 위해 필요한 인프라도 줄일 수 있다.

영향은 워크로드에 따라 달라질 것이다. 짧은 대화형 어시스턴트는 도구를 반복 호출하고 컨텍스트를 축적하는 코딩, 리서치, 고객 서비스 에이전트만큼 혜택을 보지 못할 수 있다. 모델 아키텍처도 중요하다. NVIDIA의 가장 강한 비교는 대규모 mixture-of-experts 시스템을 대상으로 하며, 이 경우 GPU 간 통신과 캐시 관리가 서빙 성능을 좌우할 수 있다.

제품 팀에게 이 수치는 개별 모델 호출이 아니라 전체 에이전트 워크플로를 측정해야 한다는 필요성을 강조한다. 평가는 도구 지연, 캐시 재사용, 동시성, 사용자 체감 상호작용성, 완료 작업당 비용을 포함해야 한다. 토큰을 저렴하게 생성하지만 도구 호출 사이에 멈추는 플랫폼은 더 나은 앱 경험을 제공하지 못할 수 있다.

이 주장은 또한 가속기 벤더와 클라우드 제공업체가 워크로드별 효율 데이터를 공개하도록 경쟁 압력을 높인다. “초당 토큰 수”만으로는 상태를 가진 에이전트의 경제성을 거의 알 수 없다. 구축자들은 하드웨어 세대를 선택하기 전에 모델, 서빙 스택, 전력 한계 전반에서 비교 가능한 측정값이 필요하다.

다음에 주목할 점

첫 번째 신호는 SemiAnalysis의 AgentX 측정 검토가 될 것이다. 정확한 시스템 구성, 소프트웨어 버전, 모델 체크포인트, 전력 계량 방법론을 포함한 독립 확인이 30배 비교를 얼마나 넓게 해석할 수 있는지를 결정할 것이다.

구매자들은 CPU 측 도구 실행을 포함한 결과도 주시해야 한다. NVIDIA는 현재 Vera Rubin 데이터에 그것이 포함되지 않았다고 말한다. 코딩이 아닌 에이전트, 다양한 컨텍스트 길이, 대체 서빙 프레임워크에 대한 추가 테스트는 이 우위가 기록된 Claude Code 세션을 넘어서는지 보여줄 것이다.

가용성, 가격, 클라우드 접근성도 equally 중요하다. 효율성 주장은 백만 토큰당 이론적 비용을 낮출 수 있지만, 실제 고객 경제성은 시스템 도입 비용, 활용률, 네트워킹, 냉각, 소프트웨어 라이선스에도 달려 있다. 초기 배포에서 나온 증거는 벤치마크 우위가 운영자에게 더 낮은 가격이나 더 높은 마진으로 이어지는지 보여줄 것이다.

Creati.ai 관점

NVIDIA의 발표는 AI 인프라 성능을 바라보는 방식의 전환으로 이해하는 것이 가장 적절하다. 에이전트가 더 길고 상태를 유지하는 워크로드를 생성함에 따라, 전력 정규화 처리량과 완료 작업당 비용이 기존의 단일 요청 속도보다 더 유용한 지표가 된다.

30배라는 수치는 주목을 끌지만, 독립 검토를 기다리는 초기 NVIDIA 측정치일 뿐이다. 구축자에게 남는 교훈은 더 좁지만 실행 가능하다. 어떤 가속기 비교를 생산 환경의 결론으로 받아들이기 전에, 컨텍스트 재사용, 도구, 동시성, 지연 시간을 포함한 전체 에이전트 루프를 벤치마크하라는 것이다.