Transfer wag jest jednym z największych wąskich gardeł podczas wykonywania rozproszonego RL na modelach o dużej pojemności. Nasz pierwszy blog badawczy Perplexity wyjaśnia, jak inżynierowie ds. wnioskowania Perplexity wykorzystali komunikację RDMA punkt-punkt, aby odblokować ultra-szybkie aktualizacje parametrów dla modeli z trylionem parametrów. Wykorzystując niskopoziomowe prymitywy RDMA, statyczne planowanie i potokowanie, przyspieszamy aktualizacje o rząd wielkości, do zaledwie 1,3 sekundy na aktualizację.