Une nouvelle étude déposée sur arXiv examine un point clé pour les agents de codage appliqués à ARC-AGI-3 : quelles briques expliquent réellement les performances observées ? Les auteurs comparent quatre variantes imbriquées d’un agent basé sur Codex : une version textuelle de référence, une version avec modèle du monde exécutable sans vérification, une version ajoutant une simplification planifiée, puis un traitement complet avec vérification par rejeu exact.
L’évaluation principale porte sur les jeux publics d’ARC-AGI-3 avec gpt-5.4 et gpt-5.5, à différents niveaux d’effort de raisonnement. Premier constat : toutes les variantes progressent avec un modèle plus fort et davantage de calcul. En revanche, à réglage donné, les écarts entre approches sont plus faibles qu’attendu. Autrement dit, la qualité du modèle et l’effort de raisonnement semblent peser au moins autant que l’architecture de l’agent elle-même.
Sur le fond, les résultats nuancent plusieurs intuitions. Le fait d’imposer un livrable exécutable persistant n’apporte pas un bénéfice systématique : dans les deux configurations testées avec gpt-5.5, la variante textuelle surpasse même la variante exécutable à interface flexible. La simplification améliore les performances dans trois réglages sur quatre, sauf dans le plus faible. Quant à la vérification complète, elle se classe première dans les quatre cas, au prix d’une consommation de ressources nettement plus élevée.
Les auteurs ajoutent un suivi exploratoire avec gpt-5.6-sol. Dans ce cadre, la variante avec vérification résout entièrement tous les jeux publics testés, atteint environ 99 % de RHAE et utilise moins de la moitié des actions du niveau de référence humain. Prudence toutefois : le modèle est postérieur à ces jeux et aucune évaluation sur données tenues à l’écart n’est encore rapportée. Les auteurs invitent donc à lire ce résultat comme une saturation du jeu public, et non comme une preuve générale de robustesse.