L’IA explicable (XAI) a longtemps été présentée comme un moyen de renforcer la confiance dans les modèles d’apprentissage automatique en rendant leur fonctionnement plus compréhensible. Mais selon un nouvel article de position publié sur arXiv, cette promesse reste largement inaboutie. Les auteurs rappellent que, sur la dernière décennie, plusieurs travaux ont montré que les explications peuvent au contraire favoriser une confiance excessive dans des prédictions erronées, avant de provoquer une forme de rejet des systèmes lorsque leurs limites apparaissent.
Le texte soutient que la XAI est aujourd’hui surtout utile comme outil de débogage, permettant d’obtenir des indices ponctuels sur ce que le modèle semble avoir appris, notamment en matière d’importance des variables. Le problème central viendrait d’un décalage structurel entre l’explication produite et le comportement réel du modèle. Cette divergence, souvent qualifiée d’« infidélité » ou de manque de fidélité, renvoie au degré avec lequel une explication approxime effectivement le modèle sous-jacent.
En théorie, mesurer rigoureusement cette fidélité permettrait de quantifier une dimension importante de la fiabilité d’une explication. En pratique, l’article juge que les métriques existantes souffrent de limites importantes : elles rendraient cette évaluation soit difficilement réalisable, soit trop coûteuse sur le plan computationnel. Les auteurs disent identifier cinq grandes insuffisances dans les approches actuelles, sans que le résumé public ne détaille ici chacune d’entre elles.
L’intérêt du papier est donc moins de proposer une nouvelle métrique prête à l’emploi que de cadrer un agenda de recherche. Les auteurs avancent quatre pistes pour améliorer la robustesse de ces mesures de fidélité. Pour les équipes produit, risque ou conformité qui s’appuient sur des explications de modèles, le message est clair : les scores de fidélité doivent encore être interprétés avec prudence, surtout lorsqu’ils servent à justifier des décisions sensibles.