Cache KV

O V4.1-Flash da DeepSeek reduz a memória do KV cache e o cálculo de entrada para agentes de IA de contexto longo, embora seus resultados de benchmark continuem irregulares.

O Google Research tornou público o TurboQuant, uma suíte de algoritmos de compressão de memória para IA que não requer treinamento, que proporciona uma redução de 6x no uso de memória do cache KV e um aumento de 8x na velocidade do cálculo de atenção, podendo reduzir os custos de inferência de IA nas empresas em mais de 50%.