NVIDIA detalla cómo Jetson puede ejecutar nuevos modelos de razonamiento en el borde

NVIDIA está posicionando su hardware Jetson para una nueva clase de cargas de trabajo locales de razonamiento y agentes de IA, argumentando que los modelos abiertos compactos lanzados en 2026 ya son lo bastante capaces para ejecutarse fuera del centro de datos. En una guía para desarrolladores, la empresa detalla recetas de despliegue para Nemotron 3.5 Lightning y Qwen3.8-27B, junto con técnicas de optimización destinadas a mejorar el rendimiento en sistemas NVIDIA Jetson.

La publicación refleja un cambio más amplio en la economía y la arquitectura de la IA en el borde. Los desarrolladores que crean agentes a menudo han tenido que enviar la inferencia a un centro de datos remoto porque los modelos capaces de razonamiento multietapa eran demasiado grandes para el hardware local. NVIDIA afirma que los nuevos diseños de modelos, la cuantización y la prestación optimizada pueden reducir esa dependencia en aplicaciones como robótica, monitoreo industrial, asistentes para vehículos y sistemas que operan con conectividad intermitente.

Las afirmaciones de rendimiento más sólidas de este artículo proceden de la propia publicación para desarrolladores de NVIDIA y deben tratarse como resultados informados por el proveedor. La guía ofrece consejos de implementación y comparaciones de benchmark, pero no establece una validación independiente en todas las configuraciones de Jetson ni en todas las cargas de trabajo de aplicación.

Dos modelos, dos compensaciones de despliegue

NVIDIA utiliza dos modelos para ilustrar por qué la arquitectura del modelo importa tanto como el número de parámetros. Qwen3.8-27B es un modelo denso que activa los 27 mil millones de parámetros para cada token. Nemotron 3.5 Lightning utiliza un diseño de mezcla de expertos con 30 mil millones de parámetros totales, pero activa aproximadamente 3 mil millones de parámetros por token.

Esa diferencia crea compensaciones distintas para los creadores de agentes. NVIDIA caracteriza a Nemotron 3.5 Lightning como una mejor opción para flujos de trabajo con muchas respuestas, donde una generación de tokens más rápida puede acortar bucles repetidos del agente. Qwen3.8-27B puede ser más adecuado para tareas que implican menos decisiones, pero más difíciles, en las que el sistema puede dedicar más tiempo a generar cada respuesta.

El ejemplo práctico de la guía es un agente en el borde que supervisa datos de sensores y registros del dispositivo, toma acciones correctivas aprobadas, verifica el resultado frente a pruebas predefinidas y escala a un experto humano cuando es necesario. Ejecutar ese bucle junto al equipo relevante podría reducir la latencia de red y mantener los datos operativos en el dispositivo.

NVIDIA también señala a Gemma 4 E4B como punto de partida para Jetson Orin Nano. Para Jetson AGX Orin y Jetson AGX Thor, identifica Nemotron 3.5 Lightning y Qwen3.8-27B como opciones más sólidas, respaldadas por checkpoints cuantizados y rutas de despliegue en motores de inferencia comunes.

La cuantización y la decodificación especulativa hacen el trabajo pesado

La guía se centra en dos técnicas. La cuantización NVFP4 reduce la memoria y el cómputo necesarios para las operaciones del modelo al representar los pesos y los cálculos relacionados en un formato de menor precisión. Eso puede hacer que los modelos más grandes sean más prácticos en dispositivos de borde con recursos limitados, aunque la menor precisión aún debe comprobarse frente a la exactitud y el comportamiento de razonamiento requeridos por una aplicación concreta.

La decodificación especulativa adopta un enfoque diferente. Un proceso de borrador más pequeño propone varios tokens, mientras que un modelo objetivo más grande los verifica. Cuando varios tokens propuestos se aceptan juntos, el sistema puede producir más salida por paso de verificación que la decodificación convencional token por token.

En las pruebas de NVIDIA, combinar la cuantización NVFP4 con la decodificación especulativa produjo una mejora de hasta 6,28 veces en el rendimiento de decodificación frente a BF16. El resultado no es una garantía universal de velocidad: NVIDIA informa que la configuración especulativa más rápida difería según el modelo. Nemotron 3.5 Lightning rindió mejor con DSpark, mientras que Qwen3.8-27B rindió mejor con DFlash2.

Ese resultado específico por modelo es importante para los equipos de despliegue. Los desarrolladores no pueden asumir que un único checkpoint de borrador o un método de decodificación especulativa será óptimo para toda una familia de modelos. NVIDIA recomienda probar los métodos disponibles y los checkpoints de borrador frente al modelo objetivo y al hardware, en lugar de elegir una optimización solo a partir de un benchmark general.

La evidencia sigue dependiendo de la carga de trabajo

El NVIDIA Developer Blog presenta los resultados de Jetson como evidencia de que el hardware en el borde ya puede admitir modelos de razonamiento que antes requerían sistemas de centro de datos más grandes. También hace referencia a una comparación del Artificial Analysis Intelligence Index, diciendo que los modelos abiertos lanzados en 2026 alcanzan puntuaciones similares a las de los modelos líderes de 2025 mientras usan menos parámetros.

Esas comparaciones ayudan a explicar el contexto del mercado, pero no sustituyen las pruebas de aplicación. Un modelo puede obtener buenos resultados en un benchmark general y aun así no preservar los patrones de uso de herramientas, el conocimiento del dominio, los formatos de respuesta o las restricciones de seguridad que necesita un agente de producción.

NVIDIA recomienda explícitamente la validación con prompts representativos y categorías de carga de trabajo reales. El rendimiento puede variar según la longitud de las solicitudes, la cantidad de razonamiento, las llamadas a herramientas y los patrones de respuesta. Por lo tanto, los creadores deben medir no solo tokens por segundo, sino también la latencia de extremo a extremo del agente, el uso de memoria, la recuperación ante fallos y si la cuantización o la decodificación especulativa cambian decisiones importantes para la aplicación.

La empresa dirige a los desarrolladores a la página Jetson AI Lab Models para recomendaciones de modelos, resultados de benchmark y comparaciones de plataforma. También señala tutoriales que cubren el despliegue local de grandes modelos de lenguaje y de visión-lenguaje, así como la decodificación especulativa con frameworks populares. La guía identifica vLLM y llama.cpp como opciones de despliegue.

Qué significa para los creadores de IA en el borde

La oportunidad inmediata no es simplemente colocar un chatbot en una computadora pequeña. Es hacer que el razonamiento local forme parte de un bucle de control más amplio. Un sistema de fábrica podría interpretar señales de equipos, un robot podría planificar en torno a condiciones cambiantes, o un asistente en cabina podría responder sin depender de una conexión continua a la nube.

Para los equipos de producto, la inferencia local puede reducir la latencia de ida y vuelta y limitar la cantidad de datos de sensores u operativos enviados a servicios externos. También puede mejorar la disponibilidad en entornos remotos o desconectados. Esas ventajas conllevan nuevas responsabilidades, incluida la gestión de dispositivos, las actualizaciones del modelo, los límites térmicos del hardware, el registro local y las salvaguardas sobre las acciones realizadas por un agente autónomo.

La selección del modelo también será más específica para cada carga de trabajo. Un modelo denso puede ser preferible cuando la calidad de la respuesta en decisiones difíciles es la prioridad, mientras que un modelo disperso de mezcla de expertos puede ofrecer una mejor economía para agentes que generan muchos pasos intermedios. En cualquiera de los dos casos, la métrica relevante es el flujo de trabajo completado: con qué rapidez y fiabilidad el sistema detecta un problema, elige una acción, verifica el resultado y escala cuando hay incertidumbre.

Qué vigilar a continuación

Las próximas señales útiles serán benchmarks independientes en Jetson Orin Nano, Jetson AGX Orin y Jetson AGX Thor, especialmente para cargas de trabajo de agentes sostenidas en lugar de pruebas de decodificación aisladas. Los desarrolladores también deberían vigilar si los checkpoints optimizados y los modelos de borrador siguen disponibles a medida que cambian las versiones de los modelos.

Más evidencia vendrá de implementaciones reales en robótica, monitoreo industrial, transporte y otros entornos donde la conectividad y el control de datos importan. Las afirmaciones de adopción deben separarse de las demostraciones hasta que los clientes revelen mejoras medibles en latencia, coste operativo, fiabilidad o capacidad offline.

Perspectiva de Creati.ai

La guía de NVIDIA es significativa porque desplaza la conversación de la IA en el borde desde si los modelos de razonamiento pueden ejecutarse localmente hacia qué arquitectura y pila de servicio encajan mejor en un flujo de trabajo específico. La mejora reportada de 6,28 veces es prometedora, pero la lección más duradera es que la optimización debe tratarse como un emparejamiento entre modelo y aplicación, no como un interruptor universal.

Para los creadores, la vía más sólida es evaluar con benchmark todo el bucle del agente en el hardware objetivo, incluidas las llamadas a herramientas, las comprobaciones de seguridad y los casos de fallo. El razonamiento local puede reducir la dependencia de la nube, pero el valor en producción dependerá de un comportamiento fiable y de controles operativos tanto como del rendimiento bruto de tokens.