KV 캐시

DeepSeek의 V4.1-Flash는 장문 컨텍스트 AI 에이전트의 KV 캐시 메모리와 입력 연산량을 줄이지만, 벤치마크 결과는 여전히 들쑥날쑥하다.

Google Research가 훈련이 필요 없는 AI 메모리 압축 알고리즘 제품군 TurboQuant를 공개했습니다. KV 캐시 메모리 사용량을 6배 줄이고 어텐션 연산을 8배 가속화해 기업의 AI 추론 비용을 50% 이상 절감할 가능성이 있습니다.