Les benchmarks d’agents IA mesurent souvent des tâches courtes et fragmentées. Avec SpireBench, des chercheurs proposent une approche différente : faire jouer des modèles de langage à une partie complète de Slay the Spire, un jeu de cartes stratégique où les choix précoces influencent fortement l’issue finale. L’objectif est d’observer non seulement la réussite globale, mais aussi la capacité des modèles à planifier sur un horizon long.
Selon le résumé de l’article, 20 grands modèles de langage ont été évalués au niveau de difficulté maximal du jeu. Les modèles les plus avancés dépasseraient des baselines heuristiques et atteindraient un niveau comparable à celui d’un joueur humain moyen. En revanche, ils resteraient encore loin des meilleurs experts. Les auteurs indiquent aussi que l’écart se creuse au fil de la partie : certains modèles réussissent aussi bien que des experts dans le premier acte, puis perdent du terrain ensuite.
L’étude met en avant un point de faiblesse récurrent : la gestion du risque. Les modèles joueraient correctement les combats pris individuellement, mais évalueraient mal les compromis sur l’ensemble d’une partie. Ils auraient notamment tendance à préserver leurs points de vie au lieu d’accepter des pertes à court terme pour devenir plus puissants ensuite, un arbitrage central dans ce type de jeu.
Les chercheurs ont également testé la dépendance à la connaissance préalable du jeu, en renommant de manière cohérente tous les termes de l’univers. Ce protocole suggère qu’une partie des performances repose sur une familiarité antérieure avec Slay the Spire. Autre constat : les mémoires écrites par les modèles entre plusieurs parties n’amélioreraient pas sensiblement leurs résultats, car elles seraient souvent inexactes ou trop prudentes.
Au-delà du cas d’usage ludique, SpireBench se positionne comme un outil pour analyser plus finement où et pourquoi les agents échouent dans des environnements complexes. Si les conclusions devront être confirmées à la lecture complète de l’article, le benchmark illustre déjà un enjeu clé pour l’IA agentique : passer de bonnes performances locales à une stratégie robuste sur la durée.