Tämänpäiväinen Extropic-julkaisu nostaa uusia punaisia lippuja. Aloin seurata tätä yritystä, kun he kieltäytyivät selittämästä rakentamansa tulo-/lähtöspesifikaatiota, jättäen meidät odottamaan selvennystä.) Tässä on 3 punaista lippua tältä päivältä: 1. Alkaen "Generatiivinen tekoäly on näytteenottoa. Kaikki generatiiviset tekoälyalgoritmit ovat pohjimmiltaan menetelmiä näytteenottoon todennäköisyysjakaumista. Generatiivisen tekoälymallin kouluttaminen vastaa joidenkin koulutustietojen taustalla olevan todennäköisyysjakauman päättelemistä, ja päättelyn suorittaminen vastaa näytteiden luomista opitusta jakaumasta. Koska TSU:t näytteitä, ne voivat käyttää generatiivisia tekoälyalgoritmeja natiivisti." Tämä on erittäin harhaanjohtava väite algoritmeista, jotka käyttävät hyödyllisimpiä moderneja tekoälyjä, samalla tasolla kuin ihmisaivojen kutsuminen termodynaamiseksi tietokoneeksi. IIUC, sikäli kuin kukaan tietää, suurin osa tekoälyn laskentatyöstä ei vastaa sellaista syötettä/ulostuloa, jota voit syöttää Extropicin siruun. Sivulla sanotaan: "Seuraava haaste on selvittää, miten nämä primitiiviset yhdistetään tavalla, joka mahdollistaa kyvykkyyden skaalaamisen johonkin nykypäivän LLM:iin verrattavaiseksi. Tätä varten meidän on rakennettava erittäin suuria TSU:ita ja keksittävä uusia algoritmeja, jotka voivat kuluttaa mielivaltaisen määrän todennäköisyyslaskentaresursseja." Tarvitseeko sinun todella rakentaa suuria TSU:ita tutkiaksesi, onko mahdollista, että LLM:n kaltaiset sovellukset hyötyvät tästä laitteistosta? Olisin ajatellut, että olisi kannattanut käyttää pari $million tämän kysymyksen tutkimiseen teorian ja nykyaikaisen pilvipohjaisen supertietokonelaitteiston yhdistelmän avulla, sen sijaan, että käyttäisin yli 30 miljoonaa dollaria sellaisten laitteistojen rakentamiseen, jotka saattaisivat olla silta ei mihinkään. Heidän oma dokumentaationsa THRML:lle (avoimen lähdekoodin kirjastolle) sanoo: "THRML tarjoaa GPU-kiihdytettyjä työkaluja lohkonäytteenottoon harvoista, heterogeenisistä kaavioista, mikä tekee siitä luonnollisen paikan prototyyppien tekemiseen tänään ja tulevaisuuden Extropic-laitteiston kokeiluun." Sanot, että sinulta puuttuu tapa, jolla laitteistoprimitiivisi voitaisiin *periaatteessa* soveltaa jonkinlaisiin hyödyllisiin sovelluksiin, ja loit tämän kirjaston auttamaan tekemään tällaista tutkimusta nykypäivän GPU:illa... Miksi et vain julkaisisi Python-kirjastoa aikaisemmin (THRML), tekisi pullonkaulatutkimusta, jonka sanoit, että se on tehtävä aikaisemmin, ja sitouttaisi yhteisöä auttamaan sinua saamaan vastauksen tähän avainkysymykseen tähän mennessä? Miksi odotit koko tämän ajan, ennen kuin ensin lanseeraat tämän erittäin kapean pienen mittakaavan laitteistoprototyypin, jotta voisit selittää tämän pullonkaulan ja julkistaa hakusi potentiaalisista kumppaneista, joilla on jonkinlainen asiaankuuluva "todennäköisyysperusteinen työmäärä" nyt, kun sen tekemättä jättämisen kustannukset olivat 30 miljoonaa dollaria ja 18 kuukautta? 2. Alkaen "Kehitimme mallin TSU-arkkitehtuuristamme ja käytimme sitä arvioidaksemme, kuinka paljon energiaa kuluisi yllä olevassa animaatiossa esitetyn kohinanpoistoprosessin suorittamiseen. Havaitsimme, että TSU:illa toimivat DTM:t voivat olla noin 10 000 kertaa energiatehokkaampia kuin GPU:iden tavalliset kuvantuotantoalgoritmit." Näen jo Twitterissä ihmisten hehkuttavan 10 000-kertaista väitettä. Mutta jokainen, joka on seurannut vuosikymmeniä kestänyttä saagaa kvanttilaskentayrityksistä, jotka väittävät saavuttavansa "kvanttiylivallan" samanlaisilla hype-luvuilla, tietävät, kuinka paljon huomiota on kiinnitettävä tällaisen vertailuarvon määrittämiseen. Käytännössä on yleensä erittäin vaikeaa osoittaa tilanteita, joissa klassinen laskentatapa *ei* ole paljon nopeampi kuin väitetty "10 000 kertaa nopeampi termodynaaminen laskenta" -lähestymistapa. Extropic-tiimi tietää tämän, mutta päätti olla kertomatta tarkemmin, millaiset olosuhteet voisivat toistaa tämän hype-vertailukohdan, jonka he halusivat nähdä leviävän. 3. Heidän käyttämänsä terminologia on vaihdettu "todennäköisyyspohjaiseksi tietokoneeksi": "Suunnittelimme maailman ensimmäisen skaalautuvan todennäköisyyspohjaisen tietokoneen." Tähän päivään asti he käyttivät terminään "termodynaamista tietokonetta" ja väittivät kirjallisesti, että "aivot ovat termodynaaminen tietokone". Heille voisi antaa epäilyksen hyödyn terminologiansa muuttamisesta. Kyse on vain siitä, että he puhuivat aina hölynpölyä siitä, että aivot ovat "termodynaaminen tietokone" (mielestäni aivot eivät ole sitä eivätkä "kvanttitietokoneita"; ne ovat hyvin pitkälti neuroverkkoalgoritmi, joka toimii klassisella tietokonearkkitehtuurilla). Ja tämä äkillinen terminologian käänne on yhdenmukainen sen kanssa, että he ovat puhuneet hölynpölyä tällä rintamalla. Nyt positiivisia asioita: * Jotkut laitteistot todella rakennettiin! * He selittävät, kuinka sen syötteellä/tuotoksella on potentiaalista sovellusta kohinanpoistossa, vaikka, kuten mainittiin, ne ovat epämääräisiä oletetun "10 000-kertaisen termodynaamisen ylivallan" yksityiskohdista, jotka he saavuttivat tällä rintamalla. Kokonais: Tämä on suunnilleen sitä, mitä odotin, kun aloin ensimmäisen kerran pyytää tuloa 18 kuukautta sitten. Heillä oli oikeutetusti hieno idea laitteistosta, mutta heillä ei ollut suunnitelmaa sen tekemiseksi hyödylliseksi, mutta heillä oli epämääräisiä teoreettisen tutkimuksen alkuja, joilla oli mahdollisuus tehdä siitä hyödyllinen. He näyttävät edistyneen kunnioitettavalla tavalla laitteiston saamisella tuotantoon (summa, jonka 30 miljoonalla dollarilla ostat), ja näennäisesti vähemmän edistystä syiden löytämisessä, miksi tämä tietty laitteisto, jopa 10 sukupolven seuraajaparannusten jälkeen, tulee olemaan hyödyksi kenellekään. Jatkossa sen sijaan, että vastaisit kysymykseen laitteesi syötteestä/tuotoksesta "mokkaamalla" ihmisiä ja sanomalla, että se on yrityssalaisuus, ja twiittaamalla hyperuskoa termodynaamisesta jumalastasi, suosittelen olemaan avoimempi näennäisesti jättimäisen elämän ja kuoleman kysymyksen suhteen, johon teknologiayhteisö saattaisi itse asiassa olla kiinnostunut auttamaan sinua vastaamaan: voiko joku kirjoittaa Python-ohjelman simulaattorissasi vahvemmalla todisteella siitä, että jonkinlainen hyödyllinen "termodynaaminen ylivalta" sinun kanssasi laitteistokonsepti voi koskaan olla asia.

Luulen, että jotkut muutkin napsahtavat samaan virheelliseen luonnehdintaan kuin sinä, joten selvennän: Tämä ei ole vaihe 1 polulla hyödylliseen vaiheeseen 10. Se kyntää aggressiivisesti eteenpäin laitteistolla ilman johdonmukaista teoreettista tarinaa, minkä he myöntävät. Se on hienoa, on vain epätavallista olla niin hyvin rahoitettu. Yliopistoissa on monia tutkimushankkeita, joissa on kengännauhabudjetit ja joissa on yhtenäisempi tarina siitä, mitä on rakennettava ja miksi.

@NGDPAB 2. Näen tässä puoli sivua, mutta pointtini on, että nopeutusten todistaminen pienessä mittakaavassa ei vain ole paljoakaan arvokasta. Me kaikki tiedämme tämän.

Re: Punainen lippu #2, harhaanjohtava "10 000x" -hype:

Kuten sanoin, Extropicin menestyksen pullonkaula on toivo siitä, että joku tulee puutöistä hyödyllisen sovelluksen kanssa heidän pitkälle tähtäävälle idealleen. Ei vain ole suositeltavaa polttaa 30 miljoonaa dollaria+ etukäteen, kun tämä sama Hail Mary olisi voitu tehdä ensin.