🚀SonicMoE🚀: eine blitzschnelle MoE-Implementierung, die für NVIDIA Hopper GPUs optimiert ist. SonicMoE reduziert den Aktivierungsspeicher um 45 % und ist auf H100 1,86x schneller als das vorherige SOTA😃 Paper: Arbeiten mit @MayankMish98, @XinleC295, @istoica05, @tri_dao