Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
steve hsu
Fizician, fondator AI, Manifold Podcast
Pentru non-experți: Modelele de frontieră au fost antrenate pe o mare parte din toate cunoștințele umane - inclusiv matematică avansată, fizică, medicină, codare. Au capacități latente uriașe.
Poate un proces relativ ieftin de "reglare fină" (în acest caz, LoRA) să adapteze modelul pentru a-l face mai util pentru un anumit caz de utilizare?
Asta explorează Thinking Machines. Rețineți că acest lucru se bazează pe accesul la modele de frontieră open source.
Cu 15 ore în urmă
John Schulman și mașinile de gândire: LoRA fără regrete
LoRA înlocuiește fiecare matrice de greutate W din modelul original cu o versiune modificată W'=W+γBAW'=W+γBA, unde B și A sunt matrice care împreună au mult mai puțini parametri decât W.
LoRA funcționează similar cu reglarea fină completă atunci când:
1. LoRA se aplică tuturor straturilor rețelei, în special straturilor MLP/MoE care găzduiesc majoritatea parametrilor.
2. LoRA nu este limitat de capacitate, adică numărul de parametri antrenabili depășește cantitatea de informații care trebuie învățate, care poate fi estimată în termeni de dimensiune a setului de date.
Implicații: Modelele de bază mari (de exemplu, trilioane de parametri) pot fi personalizate la o fracțiune din costul antrenării unui nou model.
2,07K
Da, guvernul RPC a subliniat în mod deliberat rapoartele despre economie. Este o rămășiță a erei anterioare "hide and bide".
Pentru asta nu putem da vina pe economiștii occidentali, cu excepția faptului că ar trebui să aibă mai mult bun simț pentru a verifica de două ori cifrele pentru a vedea dacă sunt realiste.
(Situația este destul de complexă, deoarece uneori unele dintre cifrele lor de creștere ar putea fi exagerate, în timp ce în cifrele oficiale ale PIB-ului raportează lucruri mai semnificative, cum ar fi valoarea serviciilor, locuințele etc.)
Cu 13 ore în urmă
Guvernul intern nu ar trebui să vrea să depășească Statele Unite în PIB-ul declarat oficial.
Acum locația este bună.
De asemenea, guvernul SUA nu dorește ca China să depășească Statele Unite în ceea ce privește PIB-ul.
Acum locația este bună.
18,75K
John Schulman și mașinile de gândire: LoRA fără regrete
LoRA înlocuiește fiecare matrice de greutate W din modelul original cu o versiune modificată W'=W+γBAW'=W+γBA, unde B și A sunt matrice care împreună au mult mai puțini parametri decât W.
LoRA funcționează similar cu reglarea fină completă atunci când:
1. LoRA se aplică tuturor straturilor rețelei, în special straturilor MLP/MoE care găzduiesc majoritatea parametrilor.
2. LoRA nu este limitat de capacitate, adică numărul de parametri antrenabili depășește cantitatea de informații care trebuie învățate, care poate fi estimată în termeni de dimensiune a setului de date.
Implicații: Modelele de bază mari (de exemplu, trilioane de parametri) pot fi personalizate la o fracțiune din costul antrenării unui nou model.
4,31K
Limită superioară
Clasament
Favorite