Les modèles multimodaux de grande taille (MLLM) excellent sur de nombreuses tâches vision-langage, mais leur coût d’inférence reste élevé. En cause notamment : le traitement d’un grand nombre de tokens visuels. L’article “Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Pruning”, publié sur arXiv, s’attaque à ce point en proposant une méthode baptisée MAP (*Middle-layer Attention Prediction*).
Les travaux récents utilisent souvent l’attention texte-vers-vision issue d’une couche intermédiaire du modèle de langage pour décider quels tokens visuels conserver. Mais les auteurs soulignent deux limites : d’une part, la couche la plus pertinente varie fortement selon les exemples, ce qui rend un choix fixe sous-optimal ; d’autre part, récupérer cette attention suppose déjà d’avoir fait passer de nombreux tokens visuels dans plusieurs couches, donc d’avoir consommé une part importante du calcul.
MAP vise à contourner ces deux obstacles. La méthode sélectionne d’abord, pour chaque échantillon, une couche « enseignante » adaptée à la question posée grâce à un mécanisme de contraste entre question originale et question de référence. Elle distille ensuite cette information dans un prédicteur léger capable d’estimer l’importance des tokens visuels à partir de caractéristiques multimodales, sans devoir calculer les cartes d’attention au moment de l’inférence.
D’après les résultats rapportés sur dix benchmarks avec LLaVA-NeXT-7B, MAP maintient 97,5 % des performances du modèle non élagué en ne conservant que 5,56 % des tokens visuels, pour une accélération de bout en bout de 3,09x. Si ces chiffres devront être confirmés dans d’autres contextes et sur d’autres architectures, l’approche apparaît comme une piste crédible pour réduire le coût opérationnel des MLLM tout en restant compatible avec d’autres techniques d’accélération.