🧵Pět triků předtréninku od CAI.
Před dohodou s Googlem @character_ai provozoval předškolení na GCP H100-TCPX, který má čtvrtinu šířky pásma jako IB (!). @NoamShazeer vynalezl algoritmus gradientní komprese nazvaný "Squinch", který udržuje SOTA MFU i přes špatné síťové připojení.
Mám to štěstí, že jsem součástí dvou (!) nadačních projektů (@vllm_project a @raydistributed), které mají skvělou vzájemnou synergii.
Zásobník Ray + vLLM + PyTorch se spojuje.
Gratulujeme, Rayi!
S radostí vítáme Raye ve službě PyTorch Foundation👋@raydistributed je open source distribuovaný výpočetní framework pro #AI úlohy, včetně zpracování dat, trénování modelů a odvozování ve velkém měřítku. Tím, že Ray přispěl do nadace @PyTorch Foundation, posiluje @anyscalecompute svůj závazek k otevřenému řízení a dlouhodobé udržitelnosti pro Raye a umělou inteligenci s otevřeným zdrojovým kódem. ➡️ Přečtěte si oznámení: #PyTorchCon