Dernières Actualités et Analyses sur Cache KV
V4.1-Flash de DeepSeek réduit la mémoire du KV cache et le calcul d’entrée pour les agents d’IA à long contexte, tandis que ses résultats de benchmark restent inégaux.
Google Research a publié publiquement TurboQuant, une suite d'algorithmes de compression de mémoire pour l'IA sans entraînement qui permet une réduction de 6x de l'utilisation de la mémoire du cache KV et une accélération de 8x du calcul d'attention, pouvant potentiellement réduire les coûts d'inférence IA en entreprise de plus de 50 %.
