MoE

Cohere hat Berichten zufolge North Small Translate veröffentlicht, ein MoE-Modell mit 218 Milliarden Parametern für mehr als 50 Sprachen, wobei Leistungsangaben noch überprüft werden müssen.

NVIDIA hat Nemotron 3 Super veröffentlicht, ein offenes hybrides Mamba-Transformer Mixture-of-Experts (MoE)-Modell, das für Aufgaben des agentischen Schlussfolgerns optimiert ist und starke Leistung bei reduzierten Inferenzkosten bietet.