NVIDIA 詳述 Jetson 如何在邊緣執行新的推理模型

NVIDIA 正在將其 Jetson 硬體定位為一種新型本地推理與代理式 AI 工作負載的平台，並主張 2026 年發布的精簡開源模型如今已足以在資料中心之外執行。在一份開發者指南中，該公司詳述了 Nemotron 3.5 Lightning 與 Qwen3.8-27B 的部署方案，以及旨在提升 NVIDIA Jetson 系統吞吐量的最佳化技術。

這篇文章反映了邊緣 AI 經濟與架構的更廣泛變化。建構代理的開發者往往必須將推論送往遠端資料中心，因為具備多步推理能力的模型對本地硬體來說過於龐大。NVIDIA 表示，新的模型設計、量化，以及最佳化的服務方式，能降低對此依賴，適用於機器人、工業監控、車載助理，以及在間歇性連線下運作的系統等應用。

本文中最強的效能主張來自 NVIDIA 自家的開發者出版內容，應視為供應商回報的結果。這份指南提供實作建議與基準比較，但並未對所有 Jetson 組態或應用工作負載建立獨立驗證。

兩種模型，兩種部署取捨

NVIDIA 以兩個模型說明，為何模型架構與參數數量同樣重要。Qwen3.8-27B 是密集型模型，對每個 token 都會啟用全部 270 億個參數。Nemotron 3.5 Lightning 則採用總參數量 300 億的 mixture-of-experts 設計，但每個 token 僅啟用約 30 億個參數。

這種差異為代理建構者帶來不同取捨。NVIDIA 將 Nemotron 3.5 Lightning 描述為更適合回應密集型工作流程，因為更快的 token 生成可縮短重複的代理迴圈。Qwen3.8-27B 則可能更適合涉及較少、但更困難決策的任務，在這類任務中，系統可以花更多時間生成每一個回應。

指南中的實際例子是一個邊緣代理：監控感測器資料與裝置日誌、執行核准的修正措施、依照預先定義的測試檢查結果，並在需要時升級給人類專家。將這個迴圈放在相關設備旁執行，可降低網路延遲，並讓營運資料保留在裝置上。

NVIDIA 也將 Gemma 4 E4B 視為 Jetson Orin Nano 的起點。對於 Jetson AGX Orin 與 Jetson AGX Thor，它則將 Nemotron 3.5 Lightning 和 Qwen3.8-27B 列為更強的選項，並提供量化 checkpoints 與常見推論引擎中的部署路徑。

量化與推測式解碼扮演主角

這份指南聚焦於兩種技術。NVFP4 量化透過以較低精度格式表示權重與相關計算，降低模型運算所需的記憶體與計算量。這可使較大的模型在受限的邊緣裝置上更具可行性，但降低精度仍必須針對特定應用所需的準確度與推理行為進行檢驗。

推測式解碼採取不同方法。較小的草稿流程先提出多個 token，較大的目標模型再加以驗證。當多個提議 token 一次被接受時，系統每個驗證步驟可產生的輸出，會多於傳統逐 token 解碼。

在 NVIDIA 的測試中，將 NVFP4 量化與推測式解碼結合，較 BF16 最多可達 6.28 倍的解碼吞吐量提升。這並不是普遍適用的速度保證：NVIDIA 報告指出，最快的推測式配置因模型而異。Nemotron 3.5 Lightning 以 DSpark 表現最佳，而 Qwen3.8-27B 則以 DFlash2 表現最佳。

這種因模型而異的結果對部署團隊很重要。開發者不能假設某一個草稿 checkpoint 或某一種推測式解碼方法，對整個模型家族都會最優。NVIDIA 建議，應針對目標模型與硬體測試可用的方法與草稿 checkpoints，而不是僅根據一般基準來選擇最佳化方案。

證據仍取決於工作負載

NVIDIA Developer Blog 將 Jetson 結果視為證據，說明邊緣硬體如今已能支援先前需要更大資料中心系統的推理模型。它也引用 Artificial Analysis Intelligence Index 的比較，表示 2026 年發布的開源模型以更少的參數，達到與 2025 年領先模型相近的分數。

這些比較有助於說明市場脈絡，但不能取代應用測試。某個模型可能在一般基準上表現良好，卻仍無法保留生產代理所需的工具使用模式、領域知識、回應格式或安全限制。

NVIDIA 明確建議使用具代表性的 prompts 與真實工作負載類別進行驗證。吞吐量可能因請求長度、推理量、工具呼叫與回應模式而異。因此，建構者不僅應測量每秒 token 數，也應測量端到端代理延遲、記憶體使用量、故障復原，以及量化或推測式解碼是否改變了對應用重要的決策。

該公司引導開發者前往 Jetson AI Lab Models 頁面，以取得模型建議、基準結果與平台比較。它也指向涵蓋本地大型語言與視覺語言模型部署，以及使用熱門框架進行推測式解碼的教學。指南將 vLLM 與 llama.cpp 列為部署選項。

對邊緣 AI 建構者的意義

眼前的機會不只是把聊天機器人放到小型電腦上，而是讓本地推理成為更大控制迴圈的一部分。工廠系統可以解讀設備訊號，機器人可以因應變化中的條件進行規劃，而車內助理則可以在不依賴持續雲端連線的情況下回應。

對產品團隊而言，本地推論可以降低往返延遲，並限制送往外部服務的感測器或營運資料量。它也能提升偏遠或離線環境中的可用性。這些優勢伴隨新的責任，包括裝置管理、模型更新、硬體散熱限制、本地日誌，以及針對自主代理所採取行動的安全防護。

模型選擇也將更具工作負載特性。當困難決策的回應品質是優先考量時，密集型模型可能較適合；而對於會產生許多中間步驟的代理，稀疏的 mixture-of-experts 模型可能更具經濟效益。無論哪種情況，相關指標都是完成的工作流程：系統多快且多可靠地偵測問題、選擇行動、驗證結果，以及在不確定時升級處理。

接下來值得關注什麼

下一批有用的訊號，將會是涵蓋 Jetson Orin Nano、Jetson AGX Orin 與 Jetson AGX Thor 的獨立基準，特別是針對持續性的代理工作負載，而非單一解碼測試。開發者也應留意，當模型版本變更時，最佳化 checkpoints 與草稿模型是否仍然可用。

更多證據將來自機器人、工業監控、交通運輸及其他重視連線與資料控制的實際部署。在客戶公開可衡量的延遲、營運成本、可靠性或離線能力改善之前，採用主張應與示範區分開來。

Creati.ai 觀點

NVIDIA 的指南之所以重要，是因為它將邊緣 AI 的討論，從「推理模型能否在本地執行」移向「哪種架構與服務堆疊最適合特定工作流程」。報告中的 6.28 倍提升令人期待，但更持久的啟示是，最佳化應被視為模型與應用的配對，而非萬用開關。

對建構者而言，最強的路徑是在目標硬體上對整個代理迴圈做基準測試，包括工具呼叫、安全檢查與失敗案例。本地推理可以降低對雲端的依賴，但生產價值將同樣取決於可靠行為與營運控制，以及原始 token 吞吐量。