KV-Cache

DeepSeek’s V4.1-Flash reduziert den KV-Cache-Speicher und den Eingaberechenaufwand für KI-Agenten mit langem Kontext, während die Benchmark-Ergebnisse uneinheitlich bleiben.

Google Research hat TurboQuant öffentlich veröffentlicht, eine trainingsfreie Algorithmus-Suite zur KI-Speicherkompression, die den KV-Cache-Speicherbedarf um das 6‑Fache reduziert und die Attention-Berechnung um das 8‑Fache beschleunigt, wodurch die Inferenzkosten für KI in Unternehmen potenziell um mehr als 50 % gesenkt werden können.