Les agents multimodaux chargés d’analyser des vidéos longues doivent conserver une mémoire cohérente des personnes, objets et événements au fil du temps. Or, selon les auteurs de ViSAGE, les approches actuelles compressent souvent trop fortement l’information ou traitent les séquences par segments isolés, ce qui peut faire disparaître des indices d’identité fins mais essentiels au raisonnement temporel.
Le papier propose une architecture de mémoire dite auto-corrective et centrée sur les entités. Son principe est d’ancrer l’identité d’une entité à partir de signaux croisés entre modalités, sur de longues plages temporelles. Le système applique ensuite un mécanisme de raffinement bidirectionnel de la mémoire, afin d’utiliser des preuves d’identité découvertes plus tard pour corriger rétroactivement des enregistrements plus anciens et améliorer les inférences futures.
Les auteurs ajoutent aussi un dispositif de vérification croisée multi-agents. Celui-ci évalue les éléments récupérés en mémoire sous une contrainte d’alignement entre identité et preuve disponible. Lorsque les éléments sont insuffisants, l’approche privilégie l’abstention plutôt qu’une réponse non étayée, un choix qui cherche à réduire les hallucinations et la propagation d’erreurs dans les tâches de compréhension vidéo.
D’après le résumé arXiv, ViSAGE surpasse systématiquement le meilleur baseline retenu dans l’étude, avec un gain de 5,9 % de précision. Le détail des jeux de données, protocoles expérimentaux et limites n’apparaît toutefois pas dans la source RSS fournie. À ce stade, cette publication s’inscrit surtout comme une avancée de recherche sur la mémoire agentique multimodale, avec des implications potentielles pour la vidéo, les assistants autonomes et les systèmes de raisonnement de long horizon.