Une nouvelle étude publiée sur arXiv s’attaque à une question encore peu visible dans l’analyse des grands modèles de langage : comment l’effort de raisonnement se répartit-il au fil des étapes d’une chaîne de pensée. Les auteurs estiment que les outils actuels d’interprétabilité restent trop globaux, car ils s’appuient souvent sur le résultat final ou résument toute la trajectoire de raisonnement en un seul indicateur.
Pour répondre à cette limite, ils proposent SARE (*Step-Aware Reasoning Energy*), un cadre géométrique conçu pour mesurer l’effort à l’échelle de chaque étape intermédiaire. La méthode s’appuie sur le Centered Kernel Alignment (CKA) appliqué à des matrices de Gram construites à partir des états cachés des tokens entre couches adjacentes du transformeur. Selon les auteurs, cette approche permet de suivre la structure relationnelle interne du modèle sans nécessiter certains alignements complexes entre représentations.
L’étude situe aussi cette « énergie » dans la progression sémantique du raisonnement, en modélisant les trajectoires de chaîne de pensée comme des transitions entre états sémantiques latents. Sur six benchmarks de raisonnement et trois LLM open-weight, les résultats rapportés montrent une répartition très non uniforme de cette énergie selon les types d’étapes, avec des transitions de phase qui ne seraient pas visibles avec des métriques agrégées à l’échelle de la trajectoire.
Autre point notable : les trajectoires incorrectes présenteraient une énergie plus faible à certains moments critiques du raisonnement. Les auteurs indiquent également que des variables dérivées de SARE égalent ou dépassent, dans la plupart des cas étudiés, des baselines de confiance fondées sur la seule sortie du modèle. À ce stade, ces résultats restent à confirmer par des travaux complémentaires, mais ils renforcent l’idée que la dynamique interne des LLM peut fournir des signaux prédictifs utiles au-delà des réponses observables.