Tämä päivä on todella suuri saavutus Nousille, mutta mahdollisesti myös tekoälymaisemalle. Olemme aloittaneet hajautetun esikoulutuksen, joka on pohjimmiltaan tiheä Deepseek - 40B parametrit, yli 20T tokenit, MLA:lla pitkän kontekstin tehokkuuden takaamiseksi. Kaikki tarkistuspisteet, hehkuttamattomat, hehkutettu, tietojoukko, kaikki ovat avoimen lähdekoodin livenä koulutuksen edetessä. Tutustu blogiin, jonka Psyche-tiimi johtaa @DillonRolnick, @theemozilla ja Ari kirjoittivat lainaustwiitissä oppiakseen *paljon* lisää infrastruktuurista.