Nvidia membeli Groq karena dua alasan imo.   1) Inferensi adalah pemisahan menjadi prefill dan decode. Arsitektur SRAM memiliki keunggulan unik dalam dekode untuk beban kerja di mana performa terutama merupakan fungsi bandwidth memori. Rubin CPX, Rubin, dan varian "Rubin SRAM" yang diduga berasal dari Groq harus memberi Nvidia kemampuan untuk mencampur dan mencocokkan chip untuk menciptakan keseimbangan optimal antara kinerja vs. biaya untuk setiap beban kerja. Rubin CPX dioptimalkan untuk jendela konteks besar selama pengisian awal sebagai hasil dari kapasitas memori super tinggi dengan bandwidth GDDR DRAM yang relatif rendah. Rubin adalah pekerja keras untuk pelatihan dan beban kerja inferensi batched dengan kepadatan tinggi dengan DRAM HBM-nya yang mencapai keseimbangan antara bandwidth memori dan kapasitas. "Rubin SRAM" yang diturunkan dari Groq dioptimalkan untuk beban kerja inferensi penalaran agen latensi sangat rendah sebagai hasil dari bandwidth memori SRAM yang sangat tinggi dengan mengorbankan kapasitas memori yang lebih rendah. Dalam kasus terakhir, CPX atau Rubin normal kemungkinan akan digunakan untuk prefill.   2) Sudah jelas untuk waktu yang lama bahwa arsitektur SRAM dapat mencapai metrik token per detik jauh lebih tinggi daripada GPU, TPU, atau ASIC apa pun yang belum kita lihat. Latensi yang sangat rendah per pengguna individu dengan mengorbankan throughput per dolar. Kurang jelas 18 bulan yang lalu apakah pengguna akhir bersedia membayar untuk kecepatan ini (SRAM lebih mahal per token karena ukuran batch yang jauh lebih kecil). Sekarang sangat jelas dari hasil Cerebras dan Groq baru-baru ini bahwa pengguna bersedia membayar untuk kecepatan.   Meningkatkan keyakinan saya bahwa semua ASIC kecuali TPU, AI5 dan Trainium pada akhirnya akan dibatalkan. Semoga berhasil bersaing dengan 3 varian Rubin dan beberapa chip jaringan terkait. Meskipun terdengar seperti ASIC OpenAI akan sangat bagus (jauh lebih baik daripada ASIC Meta dan Microsoft).   Mari kita lihat apa yang dilakukan AMD. Intel sudah bergerak ke arah ini (mereka memiliki SKU yang dioptimalkan untuk pengisian sebelumnya dan membeli SambaNova, yang merupakan pesaing SRAM terlemah). Agak lucu bahwa Meta membeli Rivos. Dan Cerebras, di mana saya bias, sekarang berada dalam posisi yang sangat menarik dan sangat strategis sebagai pemain SRAM independen terakhir (per pengetahuan publik) yang berada di depan Groq di semua tolok ukur publik. Arsitektur rak "banyak chip" Groq, bagaimanapun, jauh lebih mudah untuk diintegrasikan dengan tumpukan jaringan Nvidia dan bahkan mungkin dalam satu rak sementara WSE Cerebras hampir harus menjadi rak independen.

Demi kejelasan dan seperti yang ditunjukkan beberapa orang dalam balasan, saya harus mencatat bahwa Nvidia tidak benar-benar mengakuisisi Grok. Ini adalah perjanjian lisensi non-eksklusif dengan beberapa insinyur Grok yang bergabung dengan Nvidia. Grok akan terus mengoperasikan bisnis cloud mereka sebagai perusahaan independen yang secara efektif menjadi pesaing Nvidia dan pelanggan mereka, baik hyperscaler atau neocloud. Net, net harus bagus untuk pengguna AI. Lebih banyak persaingan, lebih banyak token. Selamat Natal dan Token Untuk Semua.