Lansarea Extropic de astăzi ridică câteva noi semnale de alarmă. Am început să urmăresc această companie când au refuzat să explice specificațiile de intrare/ieșire a ceea ce construiesc, lăsându-ne să așteptăm să primim clarificări.) Iată 3 steaguri roșii de astăzi: 1. De la "AI generativă este eșantionare. Toți algoritmii AI generativi sunt în esență proceduri de eșantionare din distribuții de probabilitate. Antrenarea unui model AI generativ corespunde deducerii distribuției de probabilitate care stă la baza unor date de antrenament, iar execuția inferenței corespunde generării de eșantioane din distribuția învățată. Deoarece TSU-urile eșantionează, ele pot rula algoritmi AI generativi nativ." Aceasta este o afirmație extrem de înșelătoare despre algoritmii care alimentează cele mai utile AI moderne, la același nivel de gaslighting ca și numirea creierului uman un computer termodinamic. IIUC, din câte știe cineva, majoritatea muncii de calcul AI nu se potrivesc cu tipul de intrare/ieșire pe care îl puteți introduce în cipul Extropic. Pagina spune: "Următoarea provocare este să ne dăm seama cum să combinăm aceste primitive într-un mod care să permită extinderea capabilităților la ceva comparabil cu LLM-urile de astăzi. Pentru a face acest lucru, va trebui să construim TSU foarte mari și să inventăm noi algoritmi care pot consuma o cantitate arbitrară de resurse de calcul probabilistic." Chiar trebuie să construiți TSU-uri mari pentru a cerceta dacă este posibil ca aplicațiile asemănătoare LLM să beneficieze de acest hardware? M-aș fi gândit că ar merita să cheltuiesc câteva $million pentru a investiga această întrebare printr-o combinație de teorie și hardware modern de supercalcul în cloud, în schimb să cheltuiesc peste 30 de milioane de dolari pentru a construi hardware care ar putea fi o punte spre nicăieri. Propria lor documentație pentru THRML (biblioteca lor open-source) spune: "THRML oferă instrumente accelerate de GPU pentru eșantionarea blocurilor pe grafuri rare și eterogene, ceea ce îl face un loc natural pentru prototipuri astăzi și experimentarea cu viitorul hardware Extropic." Spui că îți lipsește o modalitate prin care primitivele tale hardware ar putea *în principiu* să fie aplicate către aplicații utile de un fel sau altul și ai creat această bibliotecă pentru a ajuta la realizarea acestui tip de cercetare folosind GPU-urile de astăzi... De ce nu ați lansa biblioteca Python mai devreme (THRML), ați face cercetarea blocajelor despre care ați spus că trebuie făcută mai devreme și ați implica comunitatea pentru a vă ajuta să obțineți un răspuns la această întrebare cheie până acum? De ce ați așteptat în tot acest timp să lansați mai întâi acest prototip hardware la scară mică extrem de nișă pentru a veni în față pentru a explica acest blocaj decisiv și pentru a vă face publică căutarea de potențiali parteneri care au un fel de "sarcini de lucru probabilistice" relevante doar acum, când costul de a nu face acest lucru a fost de 30 de milioane de dolari și 18 luni? 2. De la "Am dezvoltat un model al arhitecturii noastre TSU și l-am folosit pentru a estima câtă energie ar fi nevoie pentru a rula procesul de eliminare a zgomotului prezentat în animația de mai sus. Ceea ce am descoperit este că DTM-urile care rulează pe TSU pot fi de aproximativ 10.000 de ori mai eficiente din punct de vedere energetic decât algoritmii standard de generare a imaginilor de pe GPU-uri." Văd deja oameni pe Twitter care promovează afirmația de 10.000x. Dar pentru oricine a urmărit saga de zeci de ani a companiilor de calcul cuantic care pretind că obțin "supremația cuantică" cu cifre similare, știți cât de multă grijă trebuie să fie acordată definirii acestui tip de referință. În practică, tinde să fie extrem de greu să indici situații în care o abordare clasică de calcul nu este mult mai rapidă decât abordarea pretinsă de "calcul termodinamic de 10.000 de ori mai rapidă". Echipa Extropic știe acest lucru, dar a ales să nu detalieze tipul de condiții care ar putea reproduce acest punct de referință pe care au vrut să-l vadă viral. 3. Terminologia pe care o folosesc a fost schimbată în "computer probabilistic": "Am proiectat primul computer probabilistic scalabil din lume". Până astăzi, ei foloseau "calculator termodinamic" ca termen și susțineau în scris că "creierul este un computer termodinamic". S-ar putea acorda beneficiul îndoielii pentru a-și schimba terminologia. Doar că au spus mereu prostii despre creier ca fiind un "computer termodinamic" (în opinia mea, creierul nu este nici asta, nici un "computer cuantic"; este un algoritm de rețea neuronală care rulează pe o arhitectură clasică de computer). Și această schimbare bruscă a terminologiei este în concordanță cu faptul că au spus prostii pe acest front. Acum pentru aspectele pozitive: * Unele hardware au fost construite! * Ei explică modul în care intrarea/ieșirea sa are potențial o aplicație în eliminarea zgomotului, deși, așa cum am menționat, sunt vagi în ceea ce privește detaliile presupusei "supremații termodinamice de 10.000x" pe care le-au obținut pe acest front. General: Cam asta mă așteptam când am început să cer ieșirea de intrare acum 18 luni. Au avut o idee legitim pentru o piesă de hardware, dar nu au avut un plan pentru a o face utilă, dar au avut niște începuturi vagi ale unor cercetări teoretice care au avut șansa de a o face utilă. Se pare că au făcut progrese respectabile în punerea hardware-ului în producție (suma pe care ți-o cumpără 30 de milioane de dolari) și aparent mai puține progrese găsind motive pentru care acest hardware, chiar și după 10 generații de rafinări succesoare, va fi de folos oricui. Mergând mai departe, în loc să răspunzi la întrebări despre intrarea/ieșirea dispozitivului tău prin "mogging" oamenii și spunând că este un secret al companiei și postând pe Twitter hiperstiții despre zeul tău termodinamic, aș recomanda să fii mai deschis cu privire la întrebarea aparent uriașă de viață și de moarte la care comunitatea tehnologică ar putea fi interesată să te ajute să răspunzi: dacă cineva poate scrie un program Python în simulatorul tău cu dovezi mai puternice că un fel de "supremație termodinamică" utilă cu tine conceptul hardware poate fi vreodată un lucru.

Cred că și alții se vor fixa la aceeași caracterizare greșită ca și tine, așa că voi clarifica: Acesta nu este un pas 1 pe calea către un pas 10 util. Avansează agresiv pe hardware fără o poveste teoretică coerentă, ceea ce recunoaște. E în regulă, este pur și simplu neobișnuit să fii atât de bine finanțat. Există multe proiecte de cercetare la universități cu bugete reduse, care au o poveste mai coerentă despre ceea ce trebuie construit și de ce.

@NGDPAB 2. Văd o jumătate de pagină aici, dar ideea mea este că dovedirea accelerărilor la o scară mică pur și simplu nu valorează prea mult. Știm cu toții asta.

Re: Steagul roșu #2, hype-ul înșelător "10.000x":

După cum spuneam, blocajul succesului Extropic este speranța că cineva va ieși din lemn cu o aplicație utilă a ideii lor de lungă durată. Este doar nerecomandabil să arzi în prealabil 30 de milioane de dolari + când aceeași Ave Maria ar fi putut fi făcută prima.