Ставка сделана на создание системы непрерывного обучения. Что это значит? Обновление Cursor является рабочим примером. Новые данные поступают, система знает, как отфильтровать самые ценные образцы. Затем она использует RL/другие алгоритмы для развертывания контрольной точки, обученной с использованием этих данных.

Каждый компонент необходимо тщательно изучить, чтобы построить мета-алгоритм, который сможет управлять такой системой. Во время тренировочного запуска он может оценить, продолжать ли запуск или остановиться на основе ранних признаков. Для этого данные из сотен запусков обрабатываются в такую систему.

Эта область работы запускает процесс решения задач с проверяемыми вознаграждениями. Поскольку это наиболее "стабильная" обстановка для создания простого конвейера обучения. Следующими границами будут LLM в роли судьи и настройки долгосрочных, отложенных вознаграждений.