Een paar basisfeiten over SRAM om je voor te bereiden op het komende hype-tijdperk en je te helpen de ruis te doorbreken: 1. Je kunt SRAM niet bij een leverancier betrekken. Het wordt op de chip gebouwd met de rest van de CPU/GPU. 2. De capaciteit van SRAM is zeer laag. De chip van Groq heeft ongeveer 256MB. Elke HBM-stack is meer dan 20GB. 3. Op basis van per GB is SRAM nog steeds duurder dan HBM of enige DRAM, in ELKE markt. 4. Het is het snelste geheugen dat mogelijk is omdat je niet van de chip hoeft te gaan. 5. Inferencing vereist veel geheugen. Een Kimi K2-model heeft ongeveer 1TB nodig. Je kunt berekenen hoeveel Groq-chips je nodig hebt met 256 MB SRAM voor inferencing. 6. Je kunt SRAM niet dichter maken omdat de functieafmetingen al de limieten hebben bereikt. Enige verbetering is mogelijk met CFETs (gestapelde transistors in 3D), maar dat is nog heel ver van productie. 7. Het energieverbruik in SRAM is laag omdat je niet van de chip hoeft te gaan. 8. Ten slotte kan SRAM HBM niet zomaar vervangen voor alle gebruiksgevallen. Het heeft zijn specifieke toepassingen.