MoE

Сообщается, что Cohere выпустила North Small Translate — MoE-модель на 218 млрд параметров для более чем 50 языков, при этом заявления о производительности ещё требуют проверки.

NVIDIA выпустила Nemotron 3 Super — открытую гибридную модель Mamba-Transformer с Mixture-of-Experts (MoE), оптимизированную для задач агентного рассуждения, обеспечивающую высокую производительность при сниженных затратах на инференс.