Vektoverføring er en av de største flaskehalsene når du utfører distribuert RL på modeller med høy kapasitet. Vår første Perplexity Research-blogg forklarer hvordan Perplexitys slutningsingeniører utnyttet RDMA punkt-til-punkt-kommunikasjon for å låse opp ultraraske parameteroppdateringer for billion-parametermodeller. Ved å utnytte RDMA-primitiver på lavt nivå, statisk planlegging og pipelining, akseler vi oppdateringer med en størrelsesorden, til bare 1,3 sekunder per oppdatering.