TurboQuant

Google Researchは、トレーニング不要のAIメモリ圧縮アルゴリズムスイート「TurboQuant」を公開しました。KVキャッシュのメモリ使用量を6倍削減し、アテンション計算を8倍高速化することで、企業のAI推論コストを50％以上削減する可能性があります。