MoE

Cohere가 50개 이상 언어를 위한 2180억 파라미터 MoE 모델 North Small Translate를 출시한 것으로 보이며, 성능 주장은 아직 검증이 필요합니다.

NVIDIA가 Nemotron 3 Super를 출시했습니다. 이는 에이전트 추론 작업에 최적화된 오픈 하이브리드 Mamba-Transformer Mixture-of-Experts(MoE) 모델로, 추론 비용을 줄이면서 우수한 성능을 제공합니다.