這就是我們在過去9個月所努力的目標：讓MoE訓練速度提高約2倍，並且內存需求減少約2倍！重點： - MoE通常在現代模型中佔用最多的時間和內存。事實上，可以數學上重寫MoE的反向傳播，以減少在前向傳播中需要存儲的激活內存約2倍，從而在不額外進行矩陣乘法重計算的情況下獲得相同的梯度。我非常喜歡這個結果，因為它結合了算法和系統的見解。 - 分析MoE層中的瓶頸導致了一種自然的優化策略：儘可能減少內存的讀取/寫入！收集前向傳播的輸入和反向傳播的輸出梯度有時會花費與分組GEMM一樣多的時間。我們將收集與分組GEMM融合，並重疊內存訪問和計算，使整個層的速度提高約2倍。 - 計算專家路由的top-k可能會花費意外的長時間，約佔整個MoE層的15-20%！標準的top-k實現使用基數top-k算法，對於大k來說效果很好，但對於小k則不夠優化。我們使用比托尼克top-k算法重寫了top-k，有時比pytorch的top-k快20-30倍！ 所有主要內核都是用Cute-DSL編寫的，因此應該容易擴展（並安裝 :D）。Hopper內核已經發布，Blackwell內核也快準備好了。MoE模型的訓練硬件效率曾經低於2倍，希望Sonic-MOE能改變這一點。

Nvidia 繼續推出一些最強大和最快的開放模型。預訓練和後訓練數據也已發布，這是非常少數組織所做的事情。