La scommessa è sulla costruzione di un sistema di apprendimento continuo. Cosa significa questo? L'aggiornamento di Cursor è un esempio funzionante. Nuovi dati arrivano, il sistema sa come filtrare i campioni più preziosi. Poi sfrutta algoritmi di RL/altri algoritmi per implementare un checkpoint addestrato utilizzando i dati suddetti.

Ogni componente deve essere studiato attentamente prima di costruire un meta-algoritmo che possa operare un tale sistema. Durante un ciclo di addestramento, può valutare se continuare o fermare il ciclo in base ai segnali iniziali. Per fare ciò, le intuizioni provenienti da centinaia di cicli vengono elaborate in un tale sistema.

Questa linea di lavoro avvia questo processo per problemi di ragionamento con ricompense verificabili. Poiché questo è l'impostazione più "stabile" per costruire una semplice pipeline per l'apprendimento. Le prossime frontiere sarebbero LLM-come-giudice e impostazioni di ricompensa ritardata a lungo termine.