Viktöverföring är en av de största flaskhalsarna när man utför distribuerad RL på modeller med hög kapacitet. Vår första Perplexity Research-blogg förklarar hur Perplexitys inferensingenjörer utnyttjade RDMA:s punkt-till-punkt-kommunikation för att låsa upp ultrasnabba parameteruppdateringar för modeller med biljoner parametrar. Genom att utnyttja RDMA-primitiver på låg nivå, statisk schemaläggning och pipelining påskyndar vi uppdateringar med en storleksordning, till bara 1,3 sekunder per uppdatering.