TurboQuant

Google Research 已公開發布 TurboQuant，一套免訓練的 AI 記憶體壓縮演算法套件，可將 KV 快取記憶體使用量減少 6 倍，並將注意力運算加速 8 倍，可能使企業 AI 推論成本降低超過 50%。