A aposta está na construção de um sistema de aprendizagem contínua. O que isto significa? A atualização do cursor é um exemplo funcional. Novos dados chegam, o sistema sabe como filtrar as amostras mais valiosas. Em seguida, ele aproveita RL/outros algoritmos para implantar um ponto de verificação treinado usando esses dados.

Cada componente deve ser estudado cuidadosamente primeiro para construir um meta-algoritmo que possa operar tal sistema. Durante uma corrida de treinamento, ele pode avaliar se deve continuar ou parar a corrida com base nos primeiros sinais. Para fazer isso, insights de 100s de execuções são digeridos em tal sistema.

Esta linha de trabalho inicia este processo de raciocínio de problemas com recompensas verificáveis. Como essa é a configuração mais "estável" para a criação de um pipeline simples para aprendizado. As próximas fronteiras seriam LLM como juiz e configurações de recompensa atrasada de longo horizonte.