🧵Fem förträningstrick från CAI.
Före Google-avtalet körde @character_ai förträning på GCP H100-TCPX som har en fjärdedel av bandbredden som IB (!). @NoamShazeer uppfann en gradientkomprimeringsalgoritm kallad "Squinch" som bibehöll SOTA MFU trots dålig nätverksuppbyggnad.
Jag har förmånen att få vara en del av två (!) stiftelseprojekt (@vllm_project och @raydistributed) som har stor synergi med varandra.
Ray + vLLM + PyTorch-stacken kommer samman.
Grattis, Ray!
We’re excited to welcome Ray to the PyTorch Foundation 👋 @raydistributed is an open source distributed computing framework for #AI workloads, including data processing, model training and inference at scale. By contributing Ray to the @PyTorch Foundation, @anyscalecompute reinforces its commitment to open governance and long-term sustainability for Ray and open source AI. ➡️ Read the announcement: #PyTorchCon