TensorRT Edge-LLM, Jetson AGX Thor에서 MLPerf Edge Agentic 벤치마크를 6.4배 더 빠르게 완료
NVIDIA는 TensorRT Edge-LLM이 Jetson AGX Thor에서 Qwen3.6-27B를 6.4배 더 빠르게 실행했으며, 엣지 에이전트를 위한 캐시와 양자화 이점을 강조했다고 밝혔습니다.
LLM 성능에 대한 최신 뉴스 및 분석
NVIDIA는 TensorRT Edge-LLM이 Jetson AGX Thor에서 Qwen3.6-27B를 6.4배 더 빠르게 실행했으며, 엣지 에이전트를 위한 캐시와 양자화 이점을 강조했다고 밝혔습니다.
NVIDIA가 tri-mode diffusion LLM 가중치를 공개한 것으로 보이며 더 빠른 추론에 대한 새로운 관심을 시사하지만, 공개된 증거는 여전히 제한적이다.
Claude Opus 4.6은 Terminal-Bench에서 65.4%, OSWorld에서 72.7%라는 획기적인 성과를 달성하여 실제 업무 응용에서 Gemini 3 Flash를 능가합니다.