Satsningen ligger på att bygga ett system för kontinuerligt lärande. Vad betyder det här? Cursor's update är ett fungerande exempel. Nya data kommer in, systemet vet hur det ska filtrera fram de mest värdefulla proverna. Den utnyttjar sedan RL/andra algoritmer för att distribuera en kontrollpunkt som tränats med hjälp av nämnda data.

Varje komponent måste studeras noggrant först för att bygga en metaalgoritm som kan driva ett sådant system. Under en träningskörning kan den utvärdera om körningen ska fortsätta eller stoppas baserat på tidiga tecken. För att göra detta smälts insikter från 100-tals körningar i ett sådant system.

Den här arbetslinjen startar den här processen för resonemangsproblem med verifierbara belöningar. Eftersom detta är den mest "stabila" inställningen för att skapa en enkel pipeline för lärande. Nästa gränser skulle vara LLM som domare och fördröjda belöningsinställningar med lång horisont.