NVIDIA Jetson

NVIDIA сообщает, что TensorRT Edge-LLM в 6,4 раза быстрее запускал Qwen3.6-27B на Jetson AGX Thor, подчеркивая преимущества кэша и квантизации для edge-агентов.

Руководство NVIDIA по развертыванию Jetson показывает, как квантизация и спекулятивное декодирование могут перенести компактные модели рассуждений в локальные edge AI-задачи.