L’évaluation des méthodes d’IA explicable (XAI) reste un point faible du domaine. Dans leur article, les auteurs soulignent que les approches les plus courantes mesurent surtout la fidélité d’une explication par rapport aux prédictions d’un modèle opaque. Or, une explication peut reproduire correctement la sortie d’un modèle sans pour autant refléter son véritable mécanisme de décision.
Pour répondre à cette limite, les chercheurs proposent un cadre d’évaluation fondé sur une vérité terrain synthétique. Leur approche repose sur des interventions contrôlées permettant de générer des jeux de données où l’importance de certaines composantes d’entrée est définie dès la conception. Cela permet ensuite de construire des explications de référence directement alignées avec le comportement du modèle analysé.
Le cadre est décliné sur trois types de données : images binaires, données tabulaires et séries temporelles. Cette diversité vise à tester les méthodes XAI dans des contextes hétérogènes, plutôt que sur un seul format de données. Les auteurs indiquent avoir évalué neuf méthodes XAI largement utilisées dans ce dispositif expérimental.
Selon le résumé de l’article, les résultats mettent en évidence des limites significatives des techniques actuelles. Le travail suggère ainsi que des benchmarks synthétiques, construits par intervention, pourraient offrir une base plus fiable pour comparer la qualité des explications. À ce stade, le texte disponible sur arXiv présente surtout la proposition méthodologique et ses conclusions générales ; les détails complets des performances comparées devront être examinés dans le papier lui-même.