Les modèles multimodaux utilisés pour analyser les affects ou les comportements doivent souvent concilier deux exigences difficiles à réunir: de bonnes performances prédictives et des explications compréhensibles par l’humain. Dans ce contexte, les auteurs de l’article “Interpretable Multimodal Classification with Linear Discriminant Tree Ensembles” estiment que les Transformers restent performants, mais trop opaques pour des usages sensibles comme le suivi clinique ou l’évaluation éducative.
Leur proposition repose sur une famille d’ensembles d’arbres: Linear Discriminant Tree (LDT), Linear Discriminant Forest (LDF) et Linear Discriminant AdaBoost (LDAB). Le cadre présenté encode chaque modalité en tokens, extrait puis regroupe des concepts pour réduire la dimension, avant de fusionner les modalités et de les faire passer dans ces classifieurs. Les tendances sont ensuite interprétées via une métrique d’importance des variables modifiée, conçue pour limiter l’influence de la classe négative dans les tâches binaires.
Selon le résumé, cette approche améliorerait la détection d’indicateurs saillants tout en restant compétitive sur le plan prédictif. Les auteurs rapportent un gain de 4,3 % en F1-mod par rapport à un Multimodal Transformer, ainsi qu’un gain de 3,0 % en précision face à Interpretable Multimodal Routing (IMR), présenté comme la principale base de comparaison interprétable.
L’article met aussi en avant une meilleure adéquation entre les explications du modèle et le jugement humain. Sur IEMOCAP, l’accord avec des annotateurs humains atteindrait 62,2 % contre 43,2 % avec une importance des variables standard; sur CMU-MOSI, il serait de 46,7 % contre 32,1 %. Ces résultats restent à considérer avec prudence à ce stade, l’étude étant pour l’instant diffusée sur arXiv et non décrite ici dans le détail expérimental complet.