MagicBeanStalk veut rendre les données RLVR enfin utiles à l’entraînement

Les auteurs de MagicBeanStalk s’attaquent à une limite bien identifiée du RLVR (reinforcement learning avec récompenses vérifiables) : accumuler davantage de problèmes d’entraînement ne suffit pas si ces données n’apportent pas de signal utile au modèle ciblé. Leur analyse montre que l’efficacité d’un jeu de données dépend à la fois de la nature des problèmes, de la politique visée et du budget de rollouts disponible pendant l’entraînement.

Dans ce cadre, l’équipe décrit un « zero-advantage trap » : pour un modèle et un budget donnés, une large part des problèmes d’un corpus mathématique open source serait soit résolue à chaque tentative, soit échouée à chaque tentative. Selon l’article, cela concernerait environ 88 % des exemples étudiés. Autrement dit, ces données seraient peu informatives pour faire progresser le modèle, car elles ne créent ni zone d’incertitude exploitable, ni apprentissage différentiel significatif.

Pour contourner cette impasse, les chercheurs proposent MagicBeanStalk, un algorithme de synthèse de données combinant une décomposition descendante des problèmes et une génération récursive ascendante. L’objectif est de produire de nouvelles familles d’exercices qui conservent les schémas de raisonnement des problèmes sources, tout en ajustant leur difficulté au modèle et au budget d’entraînement. Les auteurs précisent qu’une simple variation par prompting de problèmes difficiles ne permet pas d’obtenir ce calibrage de manière fiable.

Les résultats rapportés sont notables sur huit benchmarks mathématiques : en entraînement continu RLVR, gpt-oss-120b passerait de 61,2 à 69,8 points, et DeepSeek v4Flash de 72,4 à 77,9, avec un budget de 16K tokens. À titre de comparaison, l’entraînement sur le corpus source complet de 78 000 problèmes n’apporterait qu’un gain de +1,1, et le meilleur sous-ensemble filtré de données réelles +5,8. Les auteurs évoquent aussi une extension à la finance, avec plus de 14 000 problèmes vérifiables synthétisés à partir de 340 solutions, pour des gains annoncés sur SecQue et FinanceBench.