Il lancio di Extropic di oggi solleva alcuni nuovi campanelli d'allarme. Ho iniziato a seguire questa azienda quando si sono rifiutati di spiegare le specifiche di input/output di ciò che stanno costruendo, lasciandoci in attesa di chiarimenti.) Ecco 3 campanelli d'allarme di oggi: 1. Da "L'AI generativa sta campionando. Tutti gli algoritmi di AI generativa sono essenzialmente procedure per campionare da distribuzioni di probabilità. Addestrare un modello di AI generativa corrisponde a inferire la distribuzione di probabilità che sottende alcuni dati di addestramento, e l'esecuzione dell'inferenza corrisponde a generare campioni dalla distribuzione appresa. Poiché i TSU campionano, possono eseguire algoritmi di AI generativa in modo nativo." Questa è un'affermazione altamente fuorviante sugli algoritmi che alimentano le AI moderne più utili, allo stesso livello di gaslighting di chiamare il cervello umano un computer termodinamico. IIUC, per quanto ne sappia qualcuno, la maggior parte del lavoro di calcolo dell'AI non corrisponde al tipo di input/output che puoi fornire al chip di Extropic. La pagina dice: "La prossima sfida è capire come combinare questi primitivi in un modo che consenta di scalare le capacità a qualcosa di comparabile agli LLM di oggi. Per fare questo, dovremo costruire TSU molto grandi e inventare nuovi algoritmi che possano consumare una quantità arbitraria di risorse di calcolo probabilistico." Hai davvero bisogno di costruire grandi TSU per ricercare se è possibile per applicazioni simili agli LLM beneficiare di questo hardware? Avrei pensato che valesse la pena spendere un paio di milioni di dollari per indagare su quella domanda tramite una combinazione di teoria e hardware di supercalcolo moderno, invece di spendere oltre 30 milioni di dollari per costruire hardware che potrebbe essere un ponte verso il nulla. La loro stessa documentazione per il loro THRML (la loro libreria open-source) dice: "THRML fornisce strumenti accelerati da GPU per il campionamento a blocchi su grafi sparsi e eterogenei, rendendolo un luogo naturale per prototipare oggi e sperimentare con l'hardware Extropic futuro." Stai dicendo che ti manca un modo in cui i tuoi primitivi hardware potrebbero *in linea di principio* essere applicati a qualche tipo di applicazioni utili, e hai creato questa libreria per aiutare a fare quel tipo di ricerca utilizzando le GPU di oggi… Perché non hai semplicemente rilasciato prima la libreria Python (THRML), hai fatto la ricerca sul collo di bottiglia che hai detto deve essere fatta prima, e hai coinvolto la comunità per aiutarti a ottenere una risposta a questa domanda chiave fino ad ora? Perché hai aspettato tutto questo tempo per lanciare questo prototipo hardware estremamente di nicchia e in scala ridotta per venire avanti a spiegare questo collo di bottiglia decisivo, e solo ora pubblicizzare la tua ricerca di potenziali partner che abbiano qualche tipo di "carichi di lavoro probabilistici" pertinenti, quando il costo di non farlo è stato di 30 milioni di dollari e 18 mesi? 2. Da "Abbiamo sviluppato un modello della nostra architettura TSU e lo abbiamo utilizzato per stimare quanta energia ci vorrebbe per eseguire il processo di denoising mostrato nell'animazione sopra. Ciò che abbiamo scoperto è che i DTM che girano su TSU possono essere circa 10.000 volte più efficienti dal punto di vista energetico rispetto agli algoritmi standard di generazione di immagini su GPU." Sto già vedendo persone su Twitter esaltare l'affermazione di 10.000 volte. Ma per chiunque abbia seguito la saga decennale delle aziende di calcolo quantistico che affermano di raggiungere la "supremazia quantistica" con figure di hype simili, sai quanto sia necessario prestare attenzione nella definizione di quel tipo di benchmark. In pratica, tende ad essere estremamente difficile indicare situazioni in cui un approccio di calcolo classico *non* sia molto più veloce rispetto all'approccio "termodinamico" affermato di "10.000 volte più veloce". Il team di Extropic lo sa, ma ha scelto di non elaborare le condizioni che potrebbero riprodurre questo benchmark di hype che volevano vedere diventare virale. 3. La terminologia che stanno usando è stata cambiata in "computer probabilistico": "Abbiamo progettato il primo computer probabilistico scalabile al mondo." Fino ad oggi, stavano usando "computer termodinamico" come loro termine, e hanno affermato per iscritto che "il cervello è un computer termodinamico". Si potrebbe dare loro il beneficio del dubbio per aver cambiato la loro terminologia. È solo che parlavano sempre di sciocchezze riguardo al cervello che era un "computer termodinamico" (a mio avviso il cervello non è né quello né un "computer quantistico"; è molto più un algoritmo di rete neurale che gira su un'architettura di computer classico). E questo improvviso cambio di terminologia è coerente con il fatto che stavano parlando di sciocchezze su quel fronte. Ora per i lati positivi: * Alcuni hardware sono stati effettivamente costruiti! * Spiegano come il suo input/output potrebbe avere un'applicazione nel denoising, anche se, come accennato, sono vaghi sui dettagli della presunta "supremazia termodinamica di 10.000 volte" che hanno raggiunto su questo fronte. In generale: Questo è circa ciò che mi aspettavo quando ho iniziato a chiedere l'input/output 18 mesi fa. Avevano un'idea legittimamente interessante per un pezzo di hardware, ma non avevano un piano per renderlo utile, ma avevano alcuni vaghi inizi di ricerca teorica che avevano la possibilità di renderlo utile. Sembra che abbiano fatto progressi rispettabili nel portare l'hardware in produzione (la quantità che 30 milioni di dollari ti comprano), e apparentemente meno progressi nel trovare motivi per cui questo particolare hardware, anche dopo 10 generazioni di perfezionamenti successivi, sarà utile a qualcuno. Andando avanti, invece di rispondere a domande sul input/output del tuo dispositivo "mogging" le persone e dicendo che è un segreto aziendale, e twittando iperstituzioni sul tuo dio termodinamico, ti consiglio di essere più aperto sulla domanda apparentemente gigante di vita o di morte a cui la comunità tecnologica potrebbe effettivamente essere interessata ad aiutarti a rispondere: se qualcuno può scrivere un programma Python nel tuo simulatore con prove più forti che qualche tipo di utile "supremazia termodinamica" con il tuo concetto di hardware possa mai essere una cosa.

Immagino che anche altri si lasceranno ingannare dalla stessa errata caratterizzazione di te, quindi chiarirò: Questo non è un passo 1 nel percorso verso un utile passo 10. Si sta procedendo in modo aggressivo sull'hardware senza una storia teorica coerente, cosa che ammettono. Va bene, è solo insolito essere così ben finanziati. Ci sono molti progetti di ricerca nelle università con budget limitati che hanno una storia più coerente su cosa deve essere costruito e perché.

@NGDPAB 2. Vedo mezza pagina qui, ma il mio punto è che dimostrare i miglioramenti a una scala ridotta non vale molto. Lo sappiamo tutti.

Re: Bandiera rossa #2, l'ingannevole hype "10.000x":

Come stavo dicendo, il collo di bottiglia per il successo di Extropic è la speranza che qualcuno emerga dall'ombra con un'applicazione utile della loro idea azzardata. È semplicemente sconsigliabile bruciare in anticipo oltre 30 milioni di dollari quando questo stesso Hail Mary avrebbe potuto essere fatto per primo.