Caché KV

V4.1-Flash de DeepSeek reduce la memoria de la KV cache y el cómputo de entrada para agentes de IA de contexto largo, aunque sus resultados de benchmark siguen siendo irregulares.

Google Research ha publicado públicamente TurboQuant, una suite de algoritmos de compresión de memoria para IA que no requiere entrenamiento, que ofrece una reducción de 6x en el uso de memoria del caché KV y una aceleración de 8x en el cálculo de atención, lo que podría reducir los costos de inferencia de IA en las empresas en más del 50%.