KV кэш

V4.1-Flash от DeepSeek сокращает расход памяти KV cache и вычисления на входе для ИИ-агентов с длинным контекстом, хотя его результаты в бенчмарках остаются неоднозначными.

Google Research публично выпустил TurboQuant — набор алгоритмов сжатия памяти для ИИ, не требующий обучения, который позволяет сократить использование памяти KV-кэша в 6 раз и ускорить вычисления механизма внимания в 8 раз, что потенциально может снизить затраты предприятий на инференс ИИ более чем на 50 %.