MoE

Cohereは、50以上の言語に対応する2180億パラメータのMoEモデル「North Small Translate」を公開したと報じられており、性能主張はなお検証が必要です。

NVIDIAはNemotron 3 Superを公開しました。これはエージェント的推論タスクに最適化されたオープンハイブリッドMamba-TransformerのMixture-of-Experts(MoE)モデルで、推論コストを抑えつつ高い性能を発揮します。