Les erreurs à forte confiance des grands modèles de langage sont souvent interprétées comme le signe d’un raisonnement interne instable. Le papier “Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors”, déposé sur arXiv, examine une autre possibilité : une mauvaise calibration stable, où une réponse erronée mais très assurée reste localement inchangée malgré de petites perturbations.
Pour étudier ce phénomène, les auteurs combinent deux diagnostics. Le premier est un score d’audit au niveau des sorties, conçu pour classer les domaines selon la variation de confiance et la fréquence d’erreurs surconfiantes dans un cadre où le modèle doit répondre. Le second est une sonde de sensibilité interne, qui mesure les déplacements des états cachés du modèle afin d’évaluer sa stabilité face à des variations limitées.
Sur un jeu d’audit factuel binaire couvrant plusieurs domaines, ce score semble suivre les cas où une auto-critique avec possibilité d’abstention réduit la perte de décision. Les auteurs précisent toutefois que des bases de comparaison supervisées classent ce gain de manière plus nette. Autrement dit, l’approche proposée paraît utile pour repérer certains contextes à risque, sans dépasser clairement des références étiquetées plus directes.
Au niveau interne, des invites d’auto-critique réduisent de façon cohérente la sensibilité des états cachés à travers les couches de trois modèles open-weight. Les auteurs y voient un indice de stabilisation locale induite par le prompt, plutôt qu’un simple effet d’abstention observable en sortie. Mais cette stabilisation ne signifie pas une meilleure calibration : les erreurs surconfiantes identifiées par l’audit ne semblent pas nettement plus sensibles localement que les réponses correctes et confiantes. En pratique, cela suggère qu’une partie des erreurs les plus convaincantes des LLM pourrait être stablement mal calibrée, et non seulement fragile.