Últimas Noticias y Análisis sobre IA en el borde
NVIDIA afirma que TensorRT Edge-LLM ejecutó Qwen3.6-27B 6,4 veces más rápido en Jetson AGX Thor, destacando mejoras de caché y cuantización para agentes en el borde.
La guía de implementación de Jetson de NVIDIA muestra cómo la cuantización y la decodificación especulativa pueden llevar modelos compactos de razonamiento a cargas de trabajo locales de IA en el borde.
El modelo local 27B de StartLux habría obtenido una puntuación superior a la de DeepSeek V4 Flash en un benchmark de China, lo que plantea dudas sobre el rendimiento de la IA en el borde y su verificación.
NVIDIA detalla un flujo de trabajo de Holoscan asistido por agentes, usando CLI, habilidades y HoloHub para crear y comparar aplicaciones médicas de IA en tiempo real.
The Register explica el cambio empresarial hacia la ejecución de aplicaciones de IA más cerca de donde se generan y consumen los datos.
Las empresas chinas están integrando IA en automóviles, robots y productos industriales a medida que la tecnología se desplaza hacia dispositivos perimetrales.
PrismML, respaldada por Caltech, lanzó Bonasi, un LLM de 1 bit que es 14 veces más pequeño y 5 veces más eficiente energéticamente que modelos 8B comparables, con el objetivo de ejecutar IA sin depender de la nube.
El CEO de Arm, Rene Haas, en Davos enfatiza el cambio de centros de datos centralizados hacia el Edge AI distribuido, abordando los cuellos de botella de energía y memoria.
