🧵Lima trik prapelatihan dari CAI.
Sebelum kesepakatan Google, @character_ai sedang menjalankan prapelatihan pada GCP H100-TCPX yang memiliki 1/4 bandwidth sebagai IB (!). @NoamShazeer menemukan algoritma kompresi gradien yang disebut "Squinch" mempertahankan SOTA MFU meskipun jaringan yang buruk.
Beruntung menjadi bagian dari dua (!) proyek yayasan (@vllm_project dan @raydistributed) yang memiliki sinergi besar satu sama lain.
Tumpukan Ray + vLLM + PyTorch bersatu.
Selamat, Ray!
We’re excited to welcome Ray to the PyTorch Foundation 👋 @raydistributed is an open source distributed computing framework for #AI workloads, including data processing, model training and inference at scale. By contributing Ray to the @PyTorch Foundation, @anyscalecompute reinforces its commitment to open governance and long-term sustainability for Ray and open source AI. ➡️ Read the announcement: #PyTorchCon