NVIDIA Jetson

NVIDIAは、TensorRT Edge-LLMがJetson AGX Thor上でQwen3.6-27Bを6.4倍高速で実行し、エッジエージェント向けのキャッシュと量子化の効果を示したと述べています。

NVIDIAのJetson導入ガイドは、量子化と推測的デコードによって、コンパクトな推論モデルをローカルなエッジAIワークロードへ持ち込めることを示している。