Luin juuri Yann LeCunin ja Randall Balestrieron uuden LeJEPA-paperin. Olen ollut utelias tietämään, minkä parissa Yann on työskennellyt viime aikoina, varsinkin kun otetaan huomioon kaikki hänen kritiikkinsä LLM:iä kohtaan (josta olen eri mieltä, koska uskon, että LLM:t paranevat jatkuvasti ja vievät meidät ASI:hen melko pian). Joka tapauksessa, X:ssä on jo useita ketjuja paperista ja siitä, mitä se esittelee. Lyhyt versio on, että se on periaatteellinen, teoreettisesti perusteltu ja säästäväinen lähestymistapa itseohjattuun oppimiseen, joka korvaa monimutkaisen sekamelskan ad hoc, hakkeroivia heuristiikkaa moodien romahtamisen estämiseksi, mikä on itseohjatun oppimisen kirous. Siinä malli mokaa ja alkaa kartoittaa kaikkia syötteitä lähes identtisiin upotuksiin tai kapeaan upotusten aliavaruuteen, romahtaen koko ongelman rikkauden patologisen yksinkertaiseksi ja vääräksi vastaavuudeksi. Uuden lähestymistavan ensimmäinen pilari on heidän todisteensa siitä, että isotrooppiset Gaussin jakaumat minimoivat ainutlaatuisesti pahimman mahdollisen loppupään ennusteriskin. Heti kun luin sen, ajattelin heti CMA-ES:ää, parasta saatavilla olevaa mustan laatikon optimointialgoritmia, kun sinulla ei ole pääsyä minimoitavan funktion gradienttiin, mutta voit tehdä vain (kalliita/hitaita) funktioarviointeja. Nikolaus Hansen on työskennellyt CMA-ES:n parissa siitä lähtien, kun hän esitteli sen vuonna 1996. Tämä lähestymistapa on aina kiehtonut minua ja käytin sitä menestyksekkäästi tutkiakseni tehokkaasti syvien hermoverkkojen hyperparametreja vuonna 2011 sen sijaan, että olisin tehnyt tehottomia ruudukkohakuja. Joka tapauksessa syy siihen, miksi otan sen esille, on se, että tuon lähestymistavan ja LeJEPAn ytimen välillä on silmiinpistävä rinnakkaisuus ja syvä yhteys. CMA-ES sanoo: Aloita isotrooppisella Gaussilla, koska se on suurin entropia (vähiten puolueellinen) jakauma, kun otetaan huomioon vain varianssirajoitukset. Mukauta sitten kovarianssia oppiaksesi ongelman geometrian. LeJEPA sanoo: Säilytä isotrooppinen Gaussia, koska se on suurin entropian (vähiten puolueellinen) jakauma tuntemattomille tuleville tehtäville. Molemmat tunnustavat, että isotropia on optimaalinen epävarmuudessa kolmesta syystä: Maksimaalisen entropian periaate; Kaikista jakaumista, joilla on kiinteä varianssi, isotrooppisella Gaussin entropialla on suurin entropia; Toisin sanoen se tekee vähiten oletuksia. Suuntaharhaa ei ole; Tasainen varianssi kaikkiin suuntiin tarkoittaa, että et sitoudu etukäteen mihinkään tiettyyn ongelmarakenteeseen. Saat pahimman mahdollisen optimaalisuuden; Minimoi maksimaalinen katumus kaikissa mahdollisissa ongelmageometrioissa. Joten mitä eroa sitten on? Kyse on sopeutumisen ajoituksesta. CMA-ES voi mukautua optimoinnin aikana; Se alkaa isotrooppiseksi, mutta muuttuu sitten anisotrooppiseksi, kun se oppii tietyn optimointimaiseman. Sitä vastoin LeJEPA:n on pysyttävä isotrooppisena, koska se valmistautuu tuntemattomiin loppupään tehtäviin, joita ei ole vielä nähty. ...