Med bare noen få linjer med kode løste Fengs (@fengyao1909) foreslåtte løsning – å bruke viktighetssampling på atferdspolicyen – treningsustabiliteten i mitt tilfelle (havre). Jeg tror resultatet kan generaliseres til andre RL-rammeverk også. Flott arbeid, Feng!

Kanskje llm + nixos vil redde linux ved å gjøre brukeren 10 ganger kraftigere ved å ha en datamaskin agi koblet til operativsystemet. Tenk deg bare å spørre "kan du installere markøren og flytte alle vscode-innstillingene mine til den" I mellomtiden vil macOS-brukere fortsatt bruke musen til å laste ned og konfigurere alt manuelt En så kortsiktig visjon å ønske å trene en visjonsmodell til å gjøre klikk for meg, trenger å redesigne alt for agi

Er ikke Nixos sluttspillet av sandkasse for LLM?

moving from vllm v0 to v1 made our async rl training crash! read how we fixed it we recently migrated from v0 to v1 as part of a larger refactor of prime-rl to make it easier-to-use, more performant and naturally async. we confirmed correct training dynamics on many smaller-scale runs, but hit a wall when trying to reproduce a larger scale run that ran without problems prior to the refactor. Specifically, training DeepSeek-R1-Distill-Qwen-1.5B on single-turn math problems from our INTELLECT-2 math dataset at 8k context with two-step off-policy delay would crash fatally roughly 400 steps into the training