🚀SonicMoE🚀: błyskawicznie szybka implementacja MoE zoptymalizowana dla procesorów graficznych NVIDIA Hopper. SonicMoE redukuje pamięć aktywacji o 45% i jest 1,86x szybsza na H100 niż poprzedni SOTA😃 Artykuł: Praca z @MayankMish98, @XinleC295, @istoica05, @tri_dao