Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
samsja
Ledende forskning ved @PrimeIntellect
RL er så følsom for numeriske tall, sist gang torch kompilering gjorde noen løp krasj nå vllm v1
12. aug., 11:23
Å gå fra VLLM V0 til V1 gjorde at vår asynkrone RL-trening krasjet! Les hvordan vi fikset det
Vi migrerte nylig fra V0 til V1 som en del av en større refaktorering av Prime-RL for å gjøre den enklere å bruke, mer effektiv og naturlig asynkron. Vi bekreftet riktig treningsdynamikk på mange løp i mindre skala, men møtte en vegg da vi prøvde å reprodusere et løp i større skala som gikk uten problemer før refaktoreringen. Nærmere bestemt vil trening av DeepSeek-R1-Distill-Qwen-1.5B på matematiske problemer med én sving fra vårt INTELLECT-2 matematiske datasett i 8k-kontekst med to-trinns forsinkelse utenfor policyen krasje fatalt omtrent 400 trinn inn i treningen
6,56K
o1/o3 var den virkelige gpt5 og de leverte hardt kanskje større hopp enn gpt3 til 4, RL fortsetter fortsatt å følge skaleringsloven
Forhåndstrening skalerer også, men slutning er bare for dyrt med gigantisk modell
Enig i at åpen kildekode vil vinne
10. aug., 12:04
GPT-5 mislyktes to ganger.
Skaleringslovene nærmer seg slutten.
Åpen kildekode AI vil ha himmelens mandat.
3,98K
Topp
Rangering
Favoritter