🧵Fem pretreningstriks fra CAI.
Før Google-avtalen kjørte @character_ai fortrening på GCP H100-TCPX som har 1/4 båndbredde som IB (!). @NoamShazeer oppfant en gradientkomprimeringsalgoritme kalt "Squinch" som opprettholdt SOTA MFU til tross for dårlig nettverksbygging.
Heldig å være en del av to (!) stiftelsesprosjekter (@vllm_project og @raydistributed) som har stor synergi med hverandre.
Ray + vLLM + PyTorch-stakken kommer sammen.
Gratulerer, Ray!
We’re excited to welcome Ray to the PyTorch Foundation 👋 @raydistributed is an open source distributed computing framework for #AI workloads, including data processing, model training and inference at scale. By contributing Ray to the @PyTorch Foundation, @anyscalecompute reinforces its commitment to open governance and long-term sustainability for Ray and open source AI. ➡️ Read the announcement: #PyTorchCon