MoE

據報導，Cohere 發布了 North Small Translate，一款支援 50 多種語言的 2180 億參數 MoE 模型，但其效能主張仍待驗證。

NVIDIA 發布了 Nemotron 3 Super，一款針對代理推理任務優化的開放混合型 Mamba-Transformer Mixture-of-Experts（MoE）模型，在降低推理成本的同時提供強大的性能。