Les *Process Reward Models* (PRM) sont devenus un composant clé pour guider les méthodes de *test-time scaling* dans les systèmes multi-agents fondés sur des grands modèles de langage. Leur limite principale reste toutefois leur coût : les approches classiques ré-encodent l’ensemble de la trajectoire textuelle à chaque évaluation, ce qui devient rapidement prohibitif lorsque les séquences s’allongent.
L’article KV-PRM, publié sur arXiv, propose une alternative plus efficace. Au lieu de repartir du texte brut, la méthode lit directement le cache KV produit naturellement lors de la génération par le LLM. Concrètement, le modèle de récompense n’aurait besoin que d’un unique *verify token* appliqué à ce cache existant. Les auteurs indiquent ainsi faire passer le coût de scoring de O(L²) à O(L), où *L* représente la longueur de la séquence.
Les auteurs avancent également un argument théorique : le cache KV contiendrait une capacité d’information strictement supérieure à celle du texte seul, ce qui en ferait un support plus riche pour le *reward modeling*. Sur le plan expérimental, la méthode est évaluée sur MATH, GSM8K et AIME, ainsi qu’avec plusieurs stratégies de *test-time scaling* comme Beam Search, MCTS et Weighted Voting.
D’après les résultats rapportés, KV-PRM égale ou dépasse les PRM textuels tout en réduisant fortement les coûts opérationnels : jusqu’à 5 000 fois moins de FLOPs pour le scoring, 37 fois moins de latence et 34 fois moins de mémoire par séquence. Ces chiffres restent à confirmer par des validations indépendantes, mais ils suggèrent une piste crédible pour rendre les architectures multi-agents plus viables dans des contextes longs et coûteux en calcul.