L’évaluation des agents fondés sur des modèles de langage repose de plus en plus sur un second modèle chargé de jouer le rôle de juge automatique. Problème : lorsque la récompense issue de l’environnement d’exécution est coûteuse, lente ou indisponible, ce juge devient un proxy imparfait, avec une tendance connue à valider des trajectoires convaincantes en apparence mais incorrectes dans les faits.
Dans ce contexte, les auteurs présentent RubricForge, une approche qui ne modifie pas les poids du juge mais induit le texte même de la grille d’évaluation à partir d’un petit ensemble de trajectoires annotées avec un signal de vérité terrain. La méthode fait évoluer cette rubrique textuelle pour maximiser son alignement avec les résultats réels, puis la fige afin de l’appliquer à de nouveaux cas en un seul appel modèle, sans accès à l’environnement. L’intérêt mis en avant est aussi celui de la lisibilité : les critères restent explicites et attribuables.
Les expériences ont été menées avec un modèle 7B utilisé à la fois comme agent et comme juge, sur tau-bench et WebShop. Les auteurs indiquent que le gain principal ne porte pas tant sur l’accord global que sur la fidélité de l’évaluation. Face à un juge générique de type G-Eval, l’avantage n’est pas statistiquement significatif sur la mesure d’accord globale, et l’étalonnage des scores absolus resterait même légèrement en faveur du juge générique.
En revanche, RubricForge réduirait sensiblement la tendance à surévaluer des échecs. Sur tau-bench, le taux de faux passages descend à 0,115 contre 0,173 pour le juge de référence. Sur WebShop, la méthode améliorerait aussi le classement fidèle des résultats notés. Les auteurs défendent ainsi une idée simple : pour un évaluateur sans récompense, éviter de valider un agent défaillant compte davantage, en pratique, qu’optimiser uniquement l’accord agrégé.