AI 전력 효율

NVIDIA는 Vera Rubin NVL72가 GB300보다 메가와트당 최대 30배 더 높은 에이전틱 추론 처리량을 제공할 수 있다고 밝히며, 이는 독립적인 벤치마크 검토를 기다리고 있다고 설명했습니다.

NVIDIA는 Vera Rubin NVL72가 GB300보다 메가와트당 최대 30배 더 높은 에이전틱 AI 처리량을 제공해 장문맥 추론 비용을 겨냥한다고 말한다.

NVIDIA는 Vera Rubin NVL72가 GB300보다 메가와트당 최대 30배 더 높은 에이전틱 AI 처리량을 제공할 수 있어 추론 경제를 바꿀 수 있다고 말합니다.

OpenAI는 Jalapeño 칩이 여러 모델에서 AI 추론 속도와 전력 효율을 개선한다고 말하지만, 결과는 배포 전 공급업체 보고 수치에 머물러 있습니다.

NVIDIA는 Vera Rubin NVL72가 GB300보다 메가와트당 최대 30배 더 높은 에이전틱 처리량을 제공해 AI 구축자들의 추론 경제성을 바꿀 것이라고 말한다.

KAIST는 AI 에이전트에서 새롭게 확인된 숨겨진 에너지 비용을 보고하며, 엔터프라이즈 AI 배포와 에이전트 설계에 대한 새로운 의문을 제기했다.

새로운 보도에 따르면 고급 AI 시스템은 기본 챗봇보다 훨씬 많은 전력을 소비할 수 있으며, 이는 AI 구매자에게 비용과 인프라에 대한 새로운 질문을 제기한다.

이전에 Databricks에서 AI 총괄을 맡았던 Naveen Rao가 Unconventional AI를 설립했으며, 이 회사는 새로운 하드웨어를 사용해 추론 처리를 훨씬 더 전력 효율적으로 만들겠다고 약속한다.