L’essor des systèmes dits « AI Scientists », capables de générer de manière autonome des travaux de recherche, pose une question centrale : comment mesurer la qualité des articles qu’ils produisent ? Dans un article publié sur arXiv, les auteurs proposent un protocole de benchmarking automatisé fondé sur un système de relecture par plusieurs modèles de langage de pointe.
Le dispositif évalue les papiers selon quatre dimensions : l’originalité, la rigueur scientifique, la clarté et l’importance des résultats. Les chercheurs ont comparé quatre cadres connus — *Sakana AI* (v1 et v2), *CycleResearcher* et *Data-to-Paper* — à partir d’un même ensemble de 15 propositions de recherche. Au total, 60 articles générés ont été examinés, ainsi que 15 papiers de référence issus de FARS, une entreprise commerciale spécialisée dans les scientifiques IA autonomes.
Pour la relecture, l’étude mobilise trois évaluateurs indépendants : GPT-5.4, Gemini et Claude. Selon les résultats rapportés, les papiers de référence FARS obtiennent des scores moyens supérieurs à ceux des autres systèmes, avec des notes comprises entre 2,14 et 2,47 sur 5, contre 1,00 à 1,87 pour les frameworks concurrents. Les auteurs soulignent notamment que, dans les évaluations de Gemini et Claude, FARS dépasse de plus de deux fois les meilleurs systèmes suivants.
L’un des apports clés du travail tient à la convergence entre modèles évaluateurs. Gemini et Claude affichent une forte corrélation, ce qui suggère une certaine robustesse du protocole. GPT-5.4, en revanche, montre un accord plus faible, laissant penser qu’il applique des critères différents. Avec prudence, les auteurs estiment ainsi poser les bases d’un premier benchmark quantitatif pour les systèmes de recherche scientifique autonomes, et d’un cadre potentiellement scalable pour suivre leurs progrès.