La modélisation des performances est un enjeu central pour la conception matérielle et l’optimisation logicielle, car elle exige un raisonnement structuré sur le calcul, la réutilisation des données, le stockage et les mouvements mémoire. Dans ce contexte, les auteurs introduisent PerfReasoning, un benchmark destiné à tester les LLM à la fois comme outils de raisonnement direct et comme générateurs de code de modèles analytiques de performance.
Le benchmark s’appuie sur des spécifications de charge de travail, d’architecture et de mapping. Les modèles doivent notamment comparer différents mappings et prédire le trafic hors puce ainsi que les besoins en mémoire tampon. Selon l’article, les meilleurs modèles propriétaires dépassent 90 % sur les tâches de questions-réponses fondées sur le raisonnement, tandis que le meilleur modèle open weight atteint 82,4 %.
En revanche, la construction effective de modèles de performance apparaît bien plus difficile. Les auteurs indiquent que GPT-5.6 Sol dépasse 80 % de taux de réussite sur cette partie, mais que toutes les autres configurations testées restent en moyenne sous les 15 %, avec une forte variabilité d’un essai à l’autre. Ce contraste met en évidence un point important : produire une réponse plausible sur l’architecture ne signifie pas nécessairement savoir construire un modèle fiable et reproductible.
L’étude observe aussi qu’un apprentissage par renforcement ciblé améliore de 15,7 points la précision d’un modèle de 4B paramètres sur le raisonnement lié au mapping. À l’inverse, les approches de self-revision en plusieurs tours, sans retour externe, ne semblent pas robustes. Les auteurs prévoient de publier publiquement PerfReasoning afin de faciliter des évaluations reproductibles et de suivre les progrès futurs sur ce type de raisonnement appliqué au matériel.