Évaluer les évaluateurs : une étude propose la théorie de Rasch pour mieux mesurer les performances des LLM

Les grands modèles de langage occupent désormais plusieurs rôles à la fois : ils sont testés sur des benchmarks, servent de juges pour comparer d’autres modèles et notent parfois des contenus produits par des humains. Dans un nouvel article publié sur arXiv, des chercheurs estiment que ces usages relèvent tous d’un même problème de mesure, souvent traité de manière trop simplifiée dans les pratiques d’évaluation actuelles.

Leur proposition s’appuie sur la théorie de mesure de Rasch (Rasch Measurement Theory, RMT), une approche conçue pour décomposer des notes ordinales en plusieurs facettes comparables sur une échelle commune. Selon les auteurs, cette méthode permet de distinguer plus clairement ce qui relève de l’objet évalué, des items utilisés pour le mesurer et du comportement propre des évaluateurs. Elle fournit aussi des diagnostics pour repérer des mesures mal calibrées ou des biais de notation.

L’étude présente un cas concret dans le paradigme du LLM comme évaluateur. Les chercheurs appliquent plusieurs modèles de Rasch à annotations produites par neuf LLM de familles et de niveaux de capacité différents, à partir du corpus *Measuring Hate Speech*. Ce choix est notable, car le construit de ce corpus aurait lui-même été élaboré avec la théorie de Rasch, ce qui renforce la cohérence méthodologique de l’expérience.

Les résultats suggèrent que les LLM s’écartent systématiquement des évaluateurs humains sur plusieurs plans : sévérité de notation, calibration au niveau des items, robustesse à l’ordre des questions, sensibilité à l’identité de la cible et usage de l’échelle de notation. D’après les auteurs, ces écarts resteraient largement invisibles avec des méthodes d’évaluation standard. L’article plaide ainsi pour intégrer la RMT à la boîte à outils d’évaluation des LLM, qu’ils soient examinés, juges ou évaluateurs.