TensorRT Edge-LLM 在 Jetson AGX Thor 上以快 6.4 倍完成 MLPerf Edge Agentic 基準測試
NVIDIA 表示,TensorRT Edge-LLM 在 Jetson AGX Thor 上讓 Qwen3.6-27B 的執行速度快了 6.4 倍,凸顯了邊緣代理在快取與量化上的效益。
邊緣AI 的最新新聞與分析
NVIDIA 表示,TensorRT Edge-LLM 在 Jetson AGX Thor 上讓 Qwen3.6-27B 的執行速度快了 6.4 倍,凸顯了邊緣代理在快取與量化上的效益。
NVIDIA 的 Jetson 部署指南展示了量化與推測式解碼如何將精簡推理模型帶到本地邊緣 AI 工作負載中。
據報導,StartLux 的 27B 本地模型在中國基準測試中的得分高於 DeepSeek V4 Flash,引發外界對邊緣 AI 性能與證據性的疑問。
NVIDIA 詳述一套以代理協助的 Holoscan 工作流程,透過 CLI、skills 與 HoloHub 建置並評測即時醫療 AI 應用。
The Register 解釋企業正在轉向在資料產生與被使用更接近的地方執行 AI 應用程式。
隨著技術轉向邊緣裝置,中國公司正在將 AI 整合到汽車、機器人和工業產品中。
獲得 Caltech 支持的 PrismML 發布了 Bonasi,這是一款 1 位元 LLM,體積比同類 8B 模型小 14 倍、能源效率高 5 倍,旨在不依賴雲端運行 AI。
Arm 執行長 Rene Haas 在達沃斯強調,正從集中式資料中心轉向分散式邊緣 AI,以解決能源與記憶體瓶頸問題。