TensorRT Edge-LLM 在 Jetson AGX Thor 上以快 6.4 倍完成 MLPerf Edge Agentic 基準測試
NVIDIA 表示，TensorRT Edge-LLM 在 Jetson AGX Thor 上讓 Qwen3.6-27B 的執行速度快了 6.4 倍，凸顯了邊緣代理在快取與量化上的效益。
NVIDIA Jetson
NVIDIA Jetson 的最新新聞與分析
廣告
NVIDIA Jetson 的最新新聞與分析
NVIDIA 表示，TensorRT Edge-LLM 在 Jetson AGX Thor 上讓 Qwen3.6-27B 的執行速度快了 6.4 倍，凸顯了邊緣代理在快取與量化上的效益。
NVIDIA 的 Jetson 部署指南展示了量化與推測式解碼如何將精簡推理模型帶到本地邊緣 AI 工作負載中。