Philip Clark (@PJClark), Thrive Capitalin (@ThriveCapital) partneri, hyödyntää sijoituksia OpenAI:ssa, Cursorissa, fyysisessä älyssä ja puolijohdetaustallaan hahmotellakseen kolme suurta opetusta tekoälyn kehityksen tilasta: 1.) Tekoälyn läpimurrot eivät ole lineaarisia. Ne ovat arkkitehtonisia aaltoja, aivan kuten pii. Philipin puolijohdevertaus määrittelee tekoälyn kehityksen laitteistomaisten paradigman muutosten sarjaksi. Kun yksi polku saavuttaa rajansa (yksiydin → moniydin; esikoulutus → jälkikoulutus), syntyy uusi arkkitehtuuri. Tekoäly ei kehity asteittaisella virityksellä.. Se etenee rakenteellisten uudistusten kautta. 2.) Vahvistusoppiminen on seuraava arkkitehtuurin aikakausi (toistaiseksi) Philip kehystää vahvistusoppimisen jälkikoulutuksen seuraajaksi: uudeksi perustaksi, ei optimoinniksi. Mutta kriittisesti hän korostaa, ettei se tule olemaan viimeinen. Aivan kuten laitteisto hyppäsi yksiytimisestä moniytimiseen ja GPU:ihin, tekoäly kokee useita paradigma-aaltoja, joista jokainen avaa uusia suorituskykykattoja. Vahvistusoppiminen on vain seuraava aalto, ei viimeinen. 3.) OpenAI:n vallihauta ei ole mallit.. Se on sen kyky löytää seuraava paradigma jatkuvasti. Philip väittää, että ydinetu on tuotteen ylävirrassa: jokainen merkittävä arkkitehtoninen läpimurto suurissa malleissa on saanut alkunsa OpenAI:sta. Niiden puolustettavius syntyy toistuvasti "seuraavan jutun" keksimisestä samalla kun edellistä operationalisoidaan.. harvinainen yhdistelmä millä tahansa alalla, saati sitten katkonaisilla hypyillä. . . . Molly: "Yksi sponsoreista, joka ylpeänä sponsoroi Sourceryä, on @turingcom, joten olen saanut tutustua tekoälytutkimuksen puoleen – tekoälytutkimuksen kiihdyttämö [olemme haastatelleet toimitusjohtajaa, @jonsidd]. He auttavat mallien kanssa. Ja juuri nyt he huomaavat vakavan muutoksen viimeisen neljänneksen tai kahden aikana jäljittelydatasta ja synteettisestä datasta vahvistusoppimiseen. Olen siis utelias, miten näet sen teknisellä puolella, ja myös sovelluspuolella?" Philip: "Mielestäni tekoäly on eräänlainen puolijohteiden kaltainen – jos saan palata puolijohteisiin, se on suuri vertailukohta. Siinä mielessä, että on monia, monia aaltoja, kun pyrimme parantamaan suoritustamme yhä paremmin. Puolijohteiden kanssa meillä oli aiemmin yksiytimistä puolijohteita. Silloin emme käytännössä saaneet yhdestä yhdestä ytimestä mitään enempää, joten siirryimme moniytimiseen. Sitten siirryimme GPU:ihin. Ja uskon, että näemme jotain hyvin samankaltaista tekoälyn kanssa, eli aloitimme esikoulutuksella jo GPT-1:n, GPT-2:n ja GPT-3:n aikakaudella. Se vei meidät GPT-4:ään. Sitten aloimme käyttää paljon ChatGPT:n jälkikoulutustekniikoita – valvottua hienosäätöä, vahvistusoppimista ihmispalautteen avulla. Tämä mahdollisti mallien sen, että mallit olivat vähemmän vieraita älykkyyksiä ja enemmän avuliaita avustajia. Ja nyt, kun monet helpot hedelmät näistä saavutuksista on puristettu pois (vaikka työtä on todennäköisesti vielä paljon jäljellä), vahvistusoppiminen on ollut seuraava suuri paradigman muutos tekoälyssä ja siihen, mihin monet resurssit menevät....