De lancering van Extropic vandaag roept enkele nieuwe rode vlaggen op. Ik begon deze onderneming te volgen toen ze weigerden de in-/uitgangspecificaties van wat ze aan het bouwen zijn uit te leggen, waardoor we in afwachting bleven op verduidelijking.) Hier zijn 3 rode vlaggen van vandaag: 1. Van "Generative AI is Sampling. Alle generatieve AI-algoritmen zijn in wezen procedures voor het bemonsteren van waarschijnlijkheidsverdelingen. Het trainen van een generatief AI-model komt overeen met het afleiden van de waarschijnlijkheidsverdeling die ten grondslag ligt aan bepaalde trainingsgegevens, en het uitvoeren van inferentie komt overeen met het genereren van monsters uit de geleerde verdeling. Omdat TSU's monsters nemen, kunnen ze generatieve AI-algoritmen inheemse uitvoeren." Dit is een zeer misleidende bewering over de algoritmen die de meest nuttige moderne AI's aandrijven, op hetzelfde niveau van gaslighting als het noemen van de menselijke hersenen als een thermodynamische computer. Voor zover ik begrijp, komt het merendeel van het AI-rekenwerk niet overeen met het soort in-/uitgang dat je in de chip van Extropic kunt invoeren. De pagina zegt: "De volgende uitdaging is om uit te zoeken hoe we deze primitieve elementen kunnen combineren op een manier die het mogelijk maakt om de mogelijkheden op te schalen tot iets vergelijkbaars met de huidige LLM's. Om dit te doen, moeten we zeer grote TSU's bouwen en nieuwe algoritmen uitvinden die een willekeurige hoeveelheid probabilistische rekencapaciteit kunnen verbruiken." Heb je echt grote TSU's nodig om te onderzoeken of LLM-achtige toepassingen van deze hardware kunnen profiteren? Ik had gedacht dat het de moeite waard zou zijn om een paar miljoen dollar te besteden aan het onderzoeken van die vraag via een combinatie van theorie en moderne cloud-supercomputinghardware, in plaats van meer dan $30 miljoen uit te geven aan het bouwen van hardware die misschien een brug naar nergens is. Hun eigen documentatie voor hun THRML (hun open-source bibliotheek) zegt: "THRML biedt GPU-versnelde tools voor bloksampling op spaarzame, heterogene grafieken, waardoor het een natuurlijke plek is om vandaag te prototypen en te experimenteren met toekomstige Extropic-hardware." Je zegt dat je geen manier hebt waarop je hardware-primitieven *in principe* kunnen worden toegepast op nuttige toepassingen van enige aard, en je hebt deze bibliotheek gemaakt om dat soort onderzoek te helpen doen met de GPU's van vandaag… Waarom zou je de Python-bibliotheek niet eerder vrijgeven (THRML), het bottleneck-onderzoek doen dat je zei dat eerder gedaan moest worden, en de gemeenschap betrekken om je te helpen een antwoord te krijgen op deze sleutelvraag tegen nu? Waarom heb je al die tijd gewacht om eerst dit extreem niche, kleinschalige hardwareprototype te lanceren om deze make-or-break bottleneck uit te leggen, en alleen nu je zoektocht naar potentiële partners die een soort relevante "probabilistische workloads" hebben te publiciseren, terwijl de kosten van het niet doen daarvan $30 miljoen en 18 maanden waren? 2. Van "We hebben een model van onze TSU-architectuur ontwikkeld en het gebruikt om te schatten hoeveel energie het zou kosten om het denoising-proces te draaien dat in de bovenstaande animatie wordt getoond. Wat we hebben ontdekt is dat DTM's die op TSU's draaien ongeveer 10.000x energie-efficiënter kunnen zijn dan standaard beeldgeneratie-algoritmen op GPU's." Ik zie al mensen op Twitter de 10.000x-claim hypen. Maar voor iedereen die de decennialange saga van quantumcomputingbedrijven die beweren "quantum supremacy" te bereiken met soortgelijke hypecijfers heeft gevolgd, weet je hoeveel zorg er nodig is om dat soort benchmark te definiëren. In de praktijk is het extreem moeilijk om situaties aan te wijzen waarin een klassieke rekenbenadering *niet* veel sneller is dan de geclaimde "10.000x snellere thermodynamische rekenbenadering". Het Extropic-team weet dit, maar heeft ervoor gekozen niet in te gaan op de soort voorwaarden die deze hype-benchmark zouden kunnen reproduceren die ze wilden zien viral gaan. 3. De terminologie die ze gebruiken is veranderd naar "probabilistische computer": "We hebben 's werelds eerste schaalbare probabilistische computer ontworpen." Tot vandaag gebruikten ze "thermodynamische computer" als hun term, en beweerden schriftelijk dat "de hersenen een thermodynamische computer zijn". Men zou ze de voordelen van de twijfel kunnen geven voor het pivoteren van hun terminologie. Het is gewoon dat ze altijd onzin hebben gesproken over de hersenen als een "thermodynamische computer" (naar mijn mening zijn de hersenen noch dat, noch een "quantumcomputer"; het is in wezen een neuraal netwerkalgoritme dat draait op een klassieke computerarchitectuur). En deze plotselinge pivot van terminologie is consistent met het feit dat ze altijd onzin hebben gesproken op dat vlak. Nu voor de positieve punten: * Er is daadwerkelijk hardware gebouwd! * Ze leggen uit hoe de in-/uitgang ervan mogelijk een toepassing heeft in denoising, hoewel ze, zoals eerder vermeld, vaag zijn over de details van de veronderstelde "10.000x thermodynamische suprematie" die ze op dit gebied hebben bereikt. Over het geheel genomen: Dit is ongeveer wat ik verwachtte toen ik 18 maanden geleden begon te vragen naar de in-/uitgang. Ze hadden een legitiem cool idee voor een stuk hardware, maar hadden geen plan om het nuttig te maken, maar hadden enkele vage beginpunten van theoretisch onderzoek dat de kans had om het nuttig te maken. Ze lijken respectabele vooruitgang te hebben geboekt bij het in productie nemen van de hardware (de hoeveelheid die $30 miljoen je oplevert), en schijnbaar minder vooruitgang bij het vinden van redenen waarom deze specifieke hardware, zelfs na 10 generaties van opvolgende verfijningen, nuttig zal zijn voor iemand. Vooruitkijkend, in plaats van te reageren op vragen over de in-/uitgang van je apparaat door mensen te "moggen" en te zeggen dat het een bedrijfsgeheim is, en hyperstitions over je thermodynamische god te tweeten, zou ik aanbevelen om meer open te zijn over de schijnbaar gigantische leven-of-doodvraag waar de techgemeenschap misschien daadwerkelijk geïnteresseerd in is om je te helpen beantwoorden: of iemand een Python-programma kan schrijven in je simulator met sterker bewijs dat een soort nuttige "thermodynamische suprematie" met jouw hardwareconcept ooit een ding kan zijn.

Ik denk dat anderen ook dezelfde verkeerde karakterisering als jij zullen maken, dus ik zal het verduidelijken: Dit is geen stap 1 op de weg naar een nuttige stap 10. Het is agressief vooruitgaan op hardware zonder een samenhangend theoretisch verhaal, wat ze toegeven. Dat is prima, het is gewoon ongebruikelijk om zo goed gefinancierd te zijn. Er zijn veel onderzoeksprojecten aan universiteiten met een beperkt budget die een coherenter verhaal hebben over wat er gebouwd moet worden en waarom.

@NGDPAB 2. Ik zie hier een halve pagina, maar mijn punt is, het bewijzen van versnellingen op een kleine schaal is gewoon niet veel waard. We weten dit allemaal.

Re: Rode vlag #2, de misleidende "10.000x" hype:

Zoals ik al zei, is de bottleneck voor het succes van Extropic de hoop dat iemand met een nuttige toepassing van hun kansrijke idee naar voren komt. Het is gewoon niet verstandig om vooraf $30M+ te verbranden wanneer dezezelfde Hail Mary eerst gemaakt had kunnen worden.