NVIDIA Jetson

NVIDIA는 TensorRT Edge-LLM이 Jetson AGX Thor에서 Qwen3.6-27B를 6.4배 더 빠르게 실행했으며, 엣지 에이전트를 위한 캐시와 양자화 이점을 강조했다고 밝혔습니다.

NVIDIA의 Jetson 배포 가이드는 양자화와 스펙ულ러티브 디코딩이 컴팩트한 추론 모델을 로컬 엣지 AI 워크로드로 가져올 수 있음을 보여준다.