MoE

A Cohere teria lançado o North Small Translate, um modelo MoE de 218 bilhões de parâmetros para mais de 50 idiomas, com alegações de desempenho ainda precisando de verificação.

A NVIDIA lançou o Nemotron 3 Super, um modelo híbrido aberto Mamba-Transformer Mixture-of-Experts (MoE) otimizado para tarefas de raciocínio agencial, oferecendo alto desempenho com custo de inferência reduzido.