Une nouvelle publication sur arXiv décrit EliteTable, une méthode de recherche de programmes orientée vers la création de politiques de contrôle exécutables. L’approche s’appuie sur des LLM pour proposer de nouvelles solutions, modifier des programmes existants et recombiner plusieurs candidats. Sa particularité est d’utiliser une table de capacité fixe regroupant les solutions les mieux notées, afin de guider les itérations suivantes.
Les auteurs ont évalué la méthode sur six tâches de contrôle Gymnasium, avec dix générations, cinquante emplacements de candidats par génération et dix recherches initialisées indépendamment pour chaque tâche. D’après le résumé, les médianes des scores des candidats progressent entre la première et la dernière génération dans les six environnements testés. Les scores des solutions finalement retenues augmentent, eux, dans cinq cas sur six.
Le cas de CartPole-v1 ressort particulièrement : la solution sélectionnée aurait atteint le plafond de score dès la première génération dans les dix recherches. Des améliorations sur des épisodes non vus pendant la recherche sont également rapportées pour quatre des six tâches. BipedalWalker-v3 et CarRacing-v3 progressent, mais sans atteindre les objectifs de reporting mentionnés par les auteurs.
Le tableau est toutefois plus nuancé sur Acrobot-v1. Dans six recherches sur dix, les performances sur des épisodes tenus à l’écart diminuent, et la variation médiane appariée est négative. Les auteurs restent prudents : ces résultats documentent une amélioration pendant la recherche de programmes et un certain transfert vers de nouveaux épisodes, mais ils soulignent que des comparaisons directes et des études d’ablation seront nécessaires pour mesurer la performance relative d’EliteTable et isoler l’apport de chacun de ses composants.