inférence IA

Selon AWS, les paiements d’Amazon Bedrock AgentCore ont permis à Incarna de mettre en production des agents payant à l’inférence via BlockRun et x402, avec des contrôles des dépenses.

AutoModelRouter de KT se serait classé deuxième dans un benchmark mondial, plaçant l’efficacité de la sélection des modèles au cœur du déploiement de l’IA en entreprise.

AWS ajoute la mise en cache de modèles à SageMaker HyperPod et un routage sensible au préfixe à SageMaker Inference, visant un scale-out plus rapide et une latence LLM plus faible.

Le nouveau guide d’inférence de NVIDIA relie la capacité GPU et le TCO au comportement de la charge de travail, à l’optimisation du modèle et au déploiement flexible plutôt qu’à la seule demande de pointe.

Nvidia discuterait d’un accord potentiel avec la start-up coréenne de puces IA Rebellions, signe d’un intérêt plus large pour des alternatives destinées à l’inférence IA et aux charges de travail des centres de données.

AMD serait en train d’acquérir Taalas afin d’ajouter du silicium spécialisé pour l’inférence IA, ce qui pourrait élargir sa stratégie d’accélérateurs au-delà des charges de travail d’entraînement.

Les analystes de Bernstein estiment que la prochaine plateforme Vera Rubin de Nvidia pourrait offrir des performances d'inférence 5 fois supérieures, positionnant l'entreprise à un tournant de l'IA.

Lors du GTC 2026, le PDG de NVIDIA Jensen Huang a présenté le rack d'inférence dédié Groq 3 LPX, les extensions de la plateforme Vera Rubin, les garde-fous pour agents IA NemoClaw et une prévision de demande en puces IA de 1 000 milliards de dollars d'ici 2027, signant l'ambition de NVIDIA de contrôler l'ensemble de la pile d'infrastructure IA.

Modal Labs est en discussions avec General Catalyst pour un nouveau tour à une valorisation de 2,5 milliards de dollars, reflétant l'intérêt croissant des investisseurs pour l'infrastructure d'inférence IA.

Les prévisions technologiques pour 2026 indiquent un basculement majeur de l'entraînement des modèles d'IA vers l'inférence comme facteur différenciateur clé. Cela obligera les entreprises à adopter des infrastructures ouvertes et des plans de contrôle unifiés comme Kubernetes pour gagner les « guerres de l'inférence » et offrir des expériences IA locales plus rapides.