Dernières Actualités et Analyses sur IA en périphérie
NVIDIA affirme que TensorRT Edge-LLM a exécuté Qwen3.6-27B 6,4 fois plus vite sur Jetson AGX Thor, mettant en avant les gains liés au cache et à la quantification pour les agents en périphérie.
Le guide de déploiement Jetson de NVIDIA montre comment la quantification et le décodage spéculatif peuvent amener des modèles compacts de raisonnement vers des charges de travail d’IA en périphérie locale.
Le modèle local 27B de StartLux aurait obtenu un score supérieur à DeepSeek V4 Flash dans un benchmark chinois, soulevant des questions sur les performances de l’IA en périphérie et sur la preuve.
NVIDIA détaille un flux de travail Holoscan assisté par agent utilisant la CLI, des compétences et HoloHub pour créer et évaluer des applications médicales d’IA en temps réel.
The Register explique la transition des entreprises vers l'exécution d'applications d'IA plus près de l'endroit où les données sont générées et consommées.
Les entreprises chinoises intègrent l’IA dans les voitures, les robots et les produits industriels, à mesure que la technologie évolue vers les appareils en périphérie.
Soutenue par Caltech, PrismML a lancé Bonasi, un LLM 1 bit 14 fois plus petit et 5 fois plus économe en énergie que des modèles 8B comparables, avec l’objectif d’exécuter l’IA sans dépendance au cloud.
Le PDG d'Arm, Rene Haas, à Davos souligne la transition des centres de données centralisés vers l'Edge AI distribué, en abordant les goulots d'étranglement liés à l'énergie et à la mémoire.
