Une équipe de recherche s’est penchée sur une hypothèse largement admise dans le codage agentique : un modèle de langage serait plus performant lorsqu’il est associé au *harness* conçu par son propre éditeur. Dans ce contexte, le *harness* désigne l’ensemble des outils, prompts et mécanismes d’orchestration qui transforment un modèle conversationnel en agent logiciel autonome.
Pour tester cette idée, les auteurs ont comparé, à modèle identique, plusieurs configurations sur une suite privée et « contrôlée contre la contamination », composée de 256 tâches mêlant dépôts logiciels et problèmes de concours postérieurs à la date de coupure des modèles. Au total, 792 exécutions sur 800 prévues ont été évaluées par un oracle isolé. Les contrastes principaux portent notamment sur Claude Opus 4.8 et GPT-5.5, chacun testé avec un *harness* natif et avec Deepagents.
Résultat principal : aucun des deux contrastes ne montre d’avantage moyen clair pour un *harness* donné. Sur Opus 4.8, l’écart observé est de -1,25 point de pourcentage en faveur de Deepagents, tandis que sur GPT-5.5, l’écart est de +1,25 point en faveur du SDK natif d’OpenAI. Dans les deux cas, les intervalles de confiance rapportés incluent une absence d’effet. Les auteurs signalent toutefois une divergence marquée sur Opus 4.8 entre tâches de dépôt et tâches de concours, mais précisent que cette partition a été définie après observation des données et doit donc être répliquée.
L’étude souligne aussi que réussite et achèvement ne se confondent pas toujours : plusieurs exécutions interrompues à la limite de temps avaient déjà produit un correctif valide. Côté coûts, Deepagents apparaît plus cher par tâche résolue dans les estimations d’usage observé, mais les auteurs restent prudents : des enregistrements de consommation manquent sur certains runs Anthropic, ce qui empêche de trancher définitivement sur la facturation réelle. Ils publient l’orchestrateur, l’oracle d’évaluation, le code de réanalyse et des agrégats dérivés, tandis que les tâches restent privées.