Der heutige Start von Extropic wirft einige neue rote Flaggen auf. Ich habe angefangen, dieses Unternehmen zu verfolgen, als sie sich weigerten, die Eingabe-/Ausgabespezifikation dessen, was sie bauen, zu erklären, und uns warten ließen, um Klarheit zu bekommen.) Hier sind 3 rote Flaggen von heute: 1. Aus "Generative AI ist Sampling. Alle generativen KI-Algorithmen sind im Wesentlichen Verfahren zum Sampling aus Wahrscheinlichkeitsverteilungen. Das Trainieren eines generativen KI-Modells entspricht dem Ableiten der Wahrscheinlichkeitsverteilung, die den Trainingsdaten zugrunde liegt, und das Ausführen von Inferenz entspricht dem Generieren von Proben aus der gelernten Verteilung. Da TSUs sampeln, können sie generative KI-Algorithmen nativ ausführen." Dies ist eine äußerst irreführende Behauptung über die Algorithmen, die die nützlichsten modernen KIs antreiben, auf derselben Ebene des Gaslightings wie die Behauptung, das menschliche Gehirn sei ein thermodynamischer Computer. Soweit ich verstehe, entspricht die Mehrheit der KI-Berechnungsarbeit nicht der Art von Eingabe/Ausgabe, die Sie in den Chip von Extropic einspeisen können. Die Seite sagt: "Die nächste Herausforderung besteht darin, herauszufinden, wie man diese Primitiven so kombiniert, dass die Fähigkeiten auf etwas skaliert werden können, das mit den heutigen LLMs vergleichbar ist. Um dies zu tun, müssen wir sehr große TSUs bauen und neue Algorithmen erfinden, die eine beliebige Menge an probabilistischen Rechenressourcen konsumieren können." Muss man wirklich große TSUs bauen, um zu erforschen, ob LLM-ähnliche Anwendungen von dieser Hardware profitieren können? Ich hätte gedacht, es wäre wert, ein paar Millionen Dollar in die Untersuchung dieser Frage zu investieren, indem man eine Kombination aus Theorie und moderner Cloud-Supercomputing-Hardware nutzt, anstatt über 30 Millionen Dollar für den Bau von Hardware auszugeben, die möglicherweise eine Brücke ins Nichts ist. Ihre eigene Dokumentation für ihre THRML (ihre Open-Source-Bibliothek) sagt: "THRML bietet GPU-beschleunigte Werkzeuge für Block-Sampling auf spärlichen, heterogenen Graphen und ist ein natürlicher Ort, um heute Prototypen zu erstellen und mit zukünftiger Extropic-Hardware zu experimentieren." Sie sagen, Ihnen fehle eine Möglichkeit, wie Ihre Hardware-Primitiven *prinzipiell* auf nützliche Anwendungen angewendet werden könnten, und Sie haben diese Bibliothek erstellt, um diese Art von Forschung mit den heutigen GPUs zu unterstützen… Warum würden Sie die Python-Bibliothek nicht einfach früher (THRML) veröffentlichen, die Engpassforschung, die Sie gesagt haben, dass sie früher durchgeführt werden muss, machen und die Community einbeziehen, um Ihnen zu helfen, eine Antwort auf diese Schlüssel Frage zu bekommen? Warum haben Sie all diese Zeit gewartet, um zuerst diesen extremen Nischen-Prototyp für kleine Hardware zu starten, um dann zu erklären, dass dieser entscheidende Engpass besteht, und nur jetzt Ihre Suche nach potenziellen Partnern zu veröffentlichen, die irgendeine Art von relevanten "probabilistischen Arbeitslasten" haben, als die Kosten dafür 30 Millionen Dollar und 18 Monate betrugen? 2. Aus "Wir haben ein Modell unserer TSU-Architektur entwickelt und verwendet, um zu schätzen, wie viel Energie benötigt wird, um den Denoising-Prozess aus der obigen Animation auszuführen. Was wir herausgefunden haben, ist, dass DTMs, die auf TSUs laufen, etwa 10.000x energieeffizienter sein können als Standard-Algorithmen zur Bildgenerierung auf GPUs." Ich sehe bereits Leute auf Twitter, die die 10.000x-Behauptung hypen. Aber für jeden, der die jahrzehntelange Saga der Quantencomputing-Unternehmen verfolgt hat, die behaupten, "quantum supremacy" mit ähnlichen Hype-Zahlen erreicht zu haben, wissen Sie, wie viel Sorgfalt in die Definition eines solchen Benchmarks gesteckt werden muss. In der Praxis ist es extrem schwierig, Situationen zu finden, in denen ein klassischer Computeransatz *nicht* viel schneller ist als der behauptete "10.000x schnellere thermodynamische Computeransatz". Das Extropic-Team weiß das, hat sich aber entschieden, nicht näher auf die Bedingungen einzugehen, die diesen Hype-Benchmark reproduzieren könnten, den sie viral sehen wollten. 3. Die Terminologie, die sie verwenden, wurde auf "probabilistischer Computer" umgestellt: "Wir haben den weltweit ersten skalierbaren probabilistischen Computer entworfen." Bis heute verwendeten sie den Begriff "thermodynamischer Computer" und behaupteten schriftlich, dass "das Gehirn ein thermodynamischer Computer ist". Man könnte ihnen zugutehalten, dass sie ihre Terminologie geändert haben. Es ist nur so, dass sie immer Unsinn über das Gehirn als "thermodynamischen Computer" geredet haben (meiner Meinung nach ist das Gehirn weder das noch ein "quantum computer"; es ist sehr viel ein neuronales Netzwerk-Algorithmus, der auf einer klassischen Computerarchitektur läuft). Und dieser plötzliche Terminologiewechsel steht im Einklang damit, dass sie in dieser Hinsicht Unsinn geredet haben. Jetzt zu den positiven Aspekten: * Es wurde tatsächlich etwas Hardware gebaut! * Sie erklären, wie ihre Eingabe/Ausgabe potenziell eine Anwendung im Denoising hat, obwohl sie, wie erwähnt, vage über die Details der angeblichen "10.000x thermodynamischen Überlegenheit" sind, die sie in diesem Bereich erreicht haben. Insgesamt: Das ist etwa das, was ich erwartet habe, als ich vor 18 Monaten nach der Eingabe/Ausgabe gefragt habe. Sie hatten eine legitim coole Idee für ein Stück Hardware, hatten aber keinen Plan, um es nützlich zu machen, hatten aber einige vage Anfänge theoretischer Forschung, die eine Chance hatten, es nützlich zu machen. Sie scheinen respektable Fortschritte gemacht zu haben, um die Hardware in Produktion zu bringen (die Menge, die 30 Millionen Dollar Ihnen kauft), und scheinbar weniger Fortschritte, um Gründe zu finden, warum diese spezielle Hardware, selbst nach 10 Generationen von Nachfolgerefinements, für irgendjemanden nützlich sein wird. In Zukunft, anstatt auf Fragen zu den Eingaben/Ausgaben Ihres Geräts zu antworten, indem Sie Leute "moggen" und sagen, es sei ein Unternehmensgeheimnis, und hyperstition über Ihren thermodynamischen Gott twittern, würde ich empfehlen, offener über die scheinbar riesige Lebens- oder Todesfrage zu sein, an der die Tech-Community tatsächlich interessiert sein könnte, Ihnen zu helfen, sie zu beantworten: ob jemand ein Python-Programm in Ihrem Simulator schreiben kann, mit stärkeren Beweisen, dass irgendeine Art von nützlicher "thermodynamischer Überlegenheit" mit Ihrem Hardwarekonzept jemals möglich sein kann.

Ich schätze, einige andere werden auch auf die gleiche Fehlcharakterisierung wie du hereinfallen, also werde ich klarstellen: Das ist kein Schritt 1 auf dem Weg zu einem nützlichen Schritt 10. Es wird aggressiv an der Hardware gearbeitet, ohne eine kohärente theoretische Grundlage, was sie auch zugeben. Das ist in Ordnung, es ist nur ungewöhnlich, so gut finanziert zu sein. Es gibt viele Forschungsprojekte an Universitäten mit knappen Budgets, die eine kohärentere Geschichte darüber haben, was gebaut werden muss und warum.

@NGDPAB 2. Ich sehe hier eine halbe Seite, aber mein Punkt ist, dass Geschwindigkeitssteigerungen im kleinen Maßstab einfach nicht viel wert sind. Das wissen wir alle.

Re: Warnsignal #2, der irreführende "10.000x" Hype:

Wie ich schon sagte, ist der Engpass für den Erfolg von Extropic die Hoffnung, dass jemand mit einer nützlichen Anwendung seiner riskanten Idee aus dem Hintergrund auftaucht. Es ist einfach nicht ratsam, über 30 Millionen Dollar im Voraus zu verbrennen, wenn dieser gleiche Hail Mary-Zug zuerst hätte gemacht werden können.