Une nouvelle survey parue sur arXiv s’intéresse aux frameworks agentiques multimodaux, un champ en forte progression porté par les grands modèles de langage (LLMs) et, plus récemment, par les grands modèles multimodaux (LMMs). L’article part d’un constat simple : si les agents fondés sur les LLMs ont déjà fait l’objet de plusieurs synthèses, le rôle précis de la multimodalité dans la construction de ces agents restait peu documenté de manière systématique.
Les auteurs analysent l’impact de cette multimodalité sur les principaux modules fonctionnels d’un agent : perception, raisonnement, planification, mémoire et action. Leur revue retrace l’évolution d’agents centrés sur le texte vers des systèmes capables de traiter et de combiner plusieurs types de données, notamment images, audio et vidéo. L’étude distingue aussi plusieurs approches d’intégration des modalités, en citant des architectures de type delegated, late fusion et early fusion.
L’un des apports mis en avant est une taxonomie centrée sur les modalités, destinée à relier les choix d’architecture aux capacités observées chez les agents. Les auteurs passent également en revue plusieurs domaines d’application, parmi lesquels la robotique, la navigation GUI et web, la génération et l’édition de contenus multimédias, ainsi que la compréhension et la recherche dans de longues vidéos. L’objectif est de mieux situer les promesses concrètes de ces systèmes dans des environnements plus proches du réel.
Au-delà des performances, la publication insiste sur les compromis entre efficacité et passage à l’échelle. Elle évoque les coûts d’entraînement et d’inférence, la latence et les contraintes de déploiement, sans avancer ici de chiffres détaillés dans le résumé source. En conclusion, cette synthèse entend surtout identifier les lacunes du domaine et proposer une feuille de route vers des systèmes intelligents plus robustes et plus généralistes.