🚀SonicMoE🚀: en lynrask MoE-implementering optimalisert for NVIDIA Hopper-GPUer. SonicMoE reduserer aktiveringsminnet med 45 % og er 1,86 ganger raskere på H100 enn tidligere SOTA😃 Artikkel: Jobb med @MayankMish98, @XinleC295, @istoica05, @tri_dao