Nous avons parcouru un long chemin en matière de stabilité de l'entraînement RL asynchrone. Il n'y a pas si longtemps, un grpo naïf se bloquerait simplement avec la compilation de torch à cause d'un décalage. Mais maintenant, nous pouvons nous éloigner très loin de la politique pour gérer le RL agentique. Il y a beaucoup de détails vraiment importants dans le calcul de la perte prime-rl, activer notre dernière amélioration de stabilité sur certaines de nos exécutions fait une différence majeure dans le décalage KL.

la plupart provient de @Grad62304977 trouvant de l'alpha dans un article récent