KVキャッシュ

DeepSeekのV4.1-Flashは、長文コンテキストのAIエージェント向けにKVキャッシュのメモリ使用量と入力計算量を削減する一方、ベンチマーク結果はまだばらつきがある。

Google Researchは、トレーニング不要のAIメモリ圧縮アルゴリズムスイート「TurboQuant」を公開しました。KVキャッシュのメモリ使用量を6倍削減し、アテンション計算を8倍高速化することで、企業のAI推論コストを50％以上削減する可能性があります。