Les grands modèles multimodaux ouvrent de nouvelles capacités, mais aussi de nouvelles surfaces d’attaque. Selon un article récemment déposé sur arXiv, des acteurs malveillants peuvent répartir une intention nuisible entre plusieurs modalités, par exemple le texte et l’image, afin de contourner des garde-fous conçus pour analyser chaque canal séparément.
Les auteurs proposent **FlowGuard**, un cadre léger de défense à l’inférence qui ne se limite ni à l’inspection des entrées brutes ni à celle des sorties finales. L’idée centrale consiste à surveiller la **cohérence interne** du modèle : sur des contenus bénins, les prédictions issues du raisonnement textuel seul et visuel seul resteraient compatibles, puis se stabiliseraient lors de leur fusion. À l’inverse, une attaque perturberait cette dynamique et produirait un comportement multimodal anormal.
Pour mesurer ce phénomène, FlowGuard s’appuie sur des **FlowVectors**, inspirés de la décomposition partielle de l’information. Ces vecteurs visent à quantifier la redondance entre modalités, leur synergie, ainsi que la domination éventuelle d’une modalité sur l’autre. Les auteurs estiment que cette approche capture plus finement l’alignement — ou le désalignement — entre la prédiction fusionnée et les indices sémantiques propres à chaque modalité.
Dans les expériences rapportées, le système est entraîné uniquement sur des données bénignes, dans un cadre de classification à classe unique. L’article affirme une baisse du taux de réussite des attaques de plus de 90 % à moins de 15 % sur des attaques inédites, avec une perte d’utilité inférieure à 3 % et jusqu’à six fois moins de latence. Ces résultats restent à confirmer hors du cadre expérimental présenté, mais ils suggèrent une piste prometteuse pour sécuriser les systèmes multimodaux sans alourdir fortement leur exécution.