MoE

Cohere habría lanzado North Small Translate, un modelo MoE de 218 mil millones de parámetros para más de 50 idiomas, aunque las afirmaciones de rendimiento aún deben verificarse.

NVIDIA ha lanzado Nemotron 3 Super, un modelo híbrido abierto Mamba-Transformer Mixture-of-Experts (MoE) optimizado para tareas de razonamiento basado en agentes, que ofrece un alto rendimiento con un coste de inferencia reducido.