Des chercheurs proposent une approche intermédiaire pour progresser sur ARC-AGI-1, un benchmark centré sur le raisonnement abstrait et la généralisation. Jusqu’ici, les gains provenaient surtout soit d’un recours massif au calcul à l’inférence sur des modèles de pointe, soit d’un entraînement spécialisé sur les données ARC. Ici, les auteurs explorent une troisième voie : un modèle open-weight utilisé en mode non raisonné explicite, sans fine-tuning dédié au benchmark, mais entouré d’une architecture agentique structurée.
Le premier dispositif, baptisé Explorer-Definer Pipeline, sépare la découverte de motifs de la synthèse de transformations exécutables. Cette décomposition en deux étapes vise à mieux isoler l’identification des régularités visuelles et la production d’un programme capable de transformer les entrées en sorties correctes. Sur l’ensemble public de 400 tâches d’ARC-AGI-1, ce pipeline atteint 57,50 % de pass@2 pour un coût annoncé de 0,25 dollar par tâche.
Les auteurs présentent ensuite un second système, le Reflective Orchestrator, qui ajoute une capacité de réexploration autonome lorsque les hypothèses initiales échouent sur les paires d’entraînement. Ce mécanisme porte les résultats à 67,25 % de pass@2, pour un coût de 0,62 dollar par tâche. Le point notable est l’écart avec une base de référence one-shot à 15,50 %, soit un gain d’environ 52 points, sans entraînement spécifique au benchmark ni recours à un calcul d’inférence particulièrement lourd.
L’article avance aussi un diagnostic sur la nature du plafond de performance. Selon les auteurs, le système serait davantage limité par la génération d’hypothèses que par leur sélection : l’analyse suggère que mieux classer les candidats ne suffirait pas, et qu’il faut surtout élargir l’espace des transformations proposées. Le comportement de l’orchestrateur viendrait confirmer cette hypothèse. Comme il s’agit d’un preprint arXiv, ces résultats restent à considérer avec prudence en attendant d’éventuelles validations indépendantes.