NVIDIA, Alpamayo 2 Edge로 실시간 자율주행 추론 겨냥
NVIDIA가 DRIVE AGX Thor용 20억 파라미터 AV 모델 Alpamayo 2 Edge를 공개했다. 차량 내 연산 제약 아래 실시간 추론을 목표로 한다.
NVIDIA가 NVIDIA DRIVE AGX Thor에서 자율주행 추론을 직접 실행하도록 설계된 20억 파라미터 비전-언어-행동 모델 Alpamayo 2 Edge를 공개했다. 이 모델은 서라운드 카메라 데이터와 내비게이션 입력을 바탕으로 주행 궤적을 생성하면서 차량 탑재 시스템의 연산 및 지연시간 한도 안에서 작동하도록 설계됐다.
이번 발표는 자율주행차의 핵심 엔지니어링 문제를 다룬다. 더 큰 추론 모델은 더 강력한 기능을 제공할 수 있지만, 차량에 배포하려면 개발자가 필요로 하는 행동을 버리지 않으면서 계산 비용을 줄여야 한다. NVIDIA의 기술 블로그는 적응형 추론, 폐루프 강화학습, 평가, 추론 최적화를 중심으로 한 모델 및 도구 워크플로를 설명한다.
선택적 추론을 위해 설계된 소형 모델
Alpamayo 2 Edge는 NVIDIA Cosmos 3 Edge에서 파생된 20억 파라미터 Nemotron 기반 추론 백본을 사용하며, 이를 확산 기반 액션 전문가와 결합한다. 시스템은 서라운드 카메라 관측, 시간적 맥락, 내비게이션 입력을 처리한 뒤 미래의 주행 궤적을 생성한다.
모든 상황에서 긴 추론 기록을 생성하는 대신, 이 모델은 NVIDIA가 적응형 추론이라고 부르는 방식을 사용한다. 해당 과정이 유용하다고 판단되는 경우 Chain-of-Causation 추론을 생성하고, 보다 일상적인 주행 상황에서는 불필요한 토큰 생성을 피한다. 목표는 추론 수요를 낮추면서도 추가 추론이 필요한 상황에서는 그 능력을 유지하는 것이다.
NVIDIA는 또한 이 모델이 오프라인 증류로 학습됐다고 밝혔다. 이 과정에서는 Alpamayo 2 Super가 생성한 Chain-of-Causation 추론 자동 라벨을 사용해 더 작고 엣지 지향적인 모델에 추론 행동을 이전한다. 기술 자료는 더 큰 Alpamayo 시스템과의 전체 비교를 제공하지 않으며, 모든 주행 조건에서 모델이 어떻게 작동하는지도 확립하지 않는다.
학습과 평가가 배포 방식의 일부
이 모델은 독립적인 체크포인트로 제시되지 않는다. NVIDIA는 Alpamayo 2 Edge를 폐루프 강화학습 환경인 AlpaGym, 그리고 추론 품질을 평가하는 인간 보정 평가·보상 모델 AlpaJudge와 연결한다.
NVIDIA에 따르면 폐루프 강화학습은 폐루프 강화학습을 적용하지 않은 최상의 체크포인트보다 주행 성능을 48.9% 향상시켰다. 회사는 이 수치를 독립적인 벤치마크라고 설명하지 않으며, 공개된 근거도 평가 세트, 기준선 세부사항, 통계적 변동, 시뮬레이션 결과가 도로 시험으로 얼마나 이전되는지를 명시하지 않는다. 따라서 이 수치는 자율주행 성능의 일반적 척도가 아니라 공급업체가 보고한 개발 결과로 봐야 한다.
NVIDIA가 설명한 AlpaJudge의 워크플로는 세 가지다. 개발자는 PhysicalAI-AV 데이터 수집에서 나온 샘플을 점수화하고, 학습 가치가 더 높은 훈련 예시를 식별하며, 사후 학습 중 추론 점수를 보상으로 사용할 수 있다. 시스템에는 서로 다른 종류의 증거를 위한 참조 기반 및 비참조 기반 변형이 포함된다.
이 접근 방식은 엣지 모델 개발 방식의 실질적인 변화를 보여준다. 문제는 소형 모델이 답을 생성할 수 있는지뿐만이 아니다. 배포 제약이 적용된 뒤에도 팀이 추론 품질을 반복적으로 측정하고, 유용한 데이터를 선별하며, 행동을 개선할 수 있는지가 중요하다.
NVIDIA, Thor에서 160~190밀리초 보고
Alpamayo Developer Hub의 NVIDIA 배포 레시피는 DRIVE AGX Thor에서 추론을 최적화하기 위해 TensorRT와 DFlash2를 사용한다. NVIDIA는 해당 하드웨어에서 픽셀-궤적 지연시간이 160~190밀리초라고 보고했다.
이 측정이 중요한 이유는 자율주행 모델이 변화하는 장면을 처리하고 제한된 제어 루프 안에서 사용할 수 있는 궤적을 생성해야 하기 때문이다. 그러나 보고된 범위는 NVIDIA의 레시피와 하드웨어 구성에 연결돼 있다. 출처는 차량 소프트웨어 스택 전체, 센서 구성, 안전 모니터링 오버헤드, 전력 조건을 밝히지 않으며 모든 운용 시나리오에서 지연시간이 일관적인지도 입증하지 않는다.
개발자에게 실질적인 의미는 모델 품질을 실행 동작과 분리해 평가할 수 없다는 점이다. 오프라인 테스트에서 잘 작동하더라도 차량의 추론 예산을 초과하는 모델은 증류, 선택적 추론, 양자화 또는 기타 최적화 없이는 사용할 수 없을 수 있다. NVIDIA의 자료는 이러한 단계를 최종 통합 작업으로 미루기보다 반복 가능한 개발자 워크플로의 일부로 만드는 데 초점을 둔다.
AV 개발자와 구매자에게 의미하는 것
Alpamayo 2 Edge는 원격 컴퓨팅에 전적으로 의존하기보다 차량 탑재 플랫폼에서 추론 기반 주행 행동을 구현하려는 팀을 겨냥한다. 차량 내부에서 추론을 실행하면 연결성 의존도를 낮추고 클라우드 처리에 따른 왕복 지연시간을 피할 수 있지만, 모델 크기, 메모리, 전력, 응답시간에는 엄격한 제한이 따른다.
적응형 아키텍처는 제품팀이 컴퓨팅을 균등하지 않게 배분할 방법을 제공한다. 일상적인 장면에는 더 적은 추론을 사용하고, 모호하거나 안전과 관련된 상황에서는 더 많은 처리를 활성화할 수 있다. 이러한 설계는 평균 작업량 관리에 도움이 될 수 있지만 검증 과제도 만든다. 개발자는 모델이 언제 추론을 선택하는지, 그러한 결정이 신뢰할 수 있는지, 가용 예산이 일시적으로 부족해질 때 시스템이 어떻게 작동하는지를 파악해야 한다.
AlpaJudge와 AlpaGym의 결합은 자체 사후 학습 파이프라인을 구축하는 조직에도 중요할 수 있다. 인간이 보정한 점수는 데이터를 우선순위화하고 단순한 궤적 지표로 포착하기 어려운 행동에 보상을 주는 데 도움이 될 수 있다. 그러나 평가 품질은 인간 판단의 관련성, 훈련 샘플의 범위, 시뮬레이션 결과와 실제 주행의 관계에 좌우된다.
NVIDIA의 발표는 고객 배포, 양산 승인, 광범위한 도입을 보여주는 증거를 제공하지 않는다. 모델은 Hugging Face를 통해 실험할 수 있으며, NVIDIA는 개발자에게 Alpamayo Developer Hub와 개발자 포럼을 안내한다. 이러한 리소스는 실험을 위한 접근성을 높이지만, 그 자체로 양산 준비가 됐음을 입증하지는 않는다.
다음에 지켜볼 사항
가장 중요한 후속 조치는 대표적인 주행 시나리오, 특히 적응형 추론이 지연시간이나 궤적 품질을 바꾸는 상황에서 Alpamayo 2 Edge를 독립적으로 평가하는 것이다. 개발자는 160~190밀리초라는 결과가 어떻게 측정됐는지, 추가 시스템 오버헤드 중 어느 정도가 제외됐는지도 더 자세히 알고 싶어 할 것이다.
또 다른 신호는 NVIDIA나 외부 팀이 시뮬레이션을 넘어선 결과를 보고하는지 여부다. 실제 차량 시험, 실패 분석, 전력 측정, 롱테일 시나리오의 증거가 있다면 학습 워크플로가 실제 차량 탑재 스택으로 얼마나 잘 이전되는지 확인하는 데 도움이 된다.
마지막으로 시장은 Alpamayo 도구가 AV 개발자를 위한 더 넓은 플랫폼이 될지, 아니면 NVIDIA 자체 하드웨어·소프트웨어 생태계의 시연에 주로 머물지 지켜볼 것이다. 모델 가중치, 평가 도구, 재현 가능한 배포 레시피의 제공 여부가 결과에 영향을 미칠 것이다.
Creati.ai의 관점
NVIDIA의 발표가 주목받는 이유는 단일 모델 크기나 벤치마크보다 차량 내 추론을 엔드투엔드 시스템 문제로 다룬다는 점에 있다. Alpamayo 2 Edge는 소형 모델, 조건부 추론, 시뮬레이션 기반 사후 학습, 평가, 하드웨어별 최적화를 하나의 워크플로에 결합한다.
가장 강한 주장은 여전히 NVIDIA가 보고한 것이며, 현재의 증거는 양산 성능이나 고객 도입을 보여주지 않는다. AI 구축자와 기업 구매자에게 중요한 검증은 20억 파라미터 모델이 통제된 환경에서 설득력 있는 추론 기록을 생성할 수 있는지가 아니라, 이 워크플로가 실제 차량 제약 아래 예측 가능한 행동을 만들어내는지 여부다.
