Les mèmes restent difficiles à modérer automatiquement, car ils combinent image, texte et références culturelles dans un même objet. Cette complexité augmente encore lorsque l’humour ou le sarcasme masque un message potentiellement haineux. Dans un article publié sur arXiv, les auteurs proposent **MAR-12**, une approche pensée pour mieux détecter ces contenus tout en fournissant des explications structurées et interprétables.
Le cadre repose sur des **Vision Language Models (VLMs)** et analyse chaque mème selon **douze perspectives** inspirées de théories de l’humour et de la haine. L’idée est de ne pas réduire l’interprétation à un simple score de classification, mais de décomposer le raisonnement en plusieurs angles complémentaires. Un mécanisme d’attention « soft-gated » tenant compte du rôle de chaque perspective détermine ensuite leur poids relatif, avant une classification finale basée sur des prototypes.
L’un des apports mis en avant par les auteurs concerne l’**explicabilité**. Les justifications produites s’appuient à la fois sur le raisonnement propre à chaque perspective et sur les poids appris par le modèle, afin de relier plus clairement la prédiction au contexte du mème. Cette approche vise à répondre à une limite fréquente des classifieurs multimodaux existants, souvent performants en détection mais plus faibles lorsqu’il s’agit d’expliquer leurs décisions.
Les expériences menées sur les jeux de données **PrideMM** et **Memotion** montrent, d’après l’article, jusqu’à **80,3 % de précision** pour la détection de l’humour et **75,9 %** pour la détection de la haine. Les auteurs indiquent également que des évaluations humaines et des évaluations fondées sur GPT-4 jugent les explications plus cohérentes et convaincantes, en particulier lorsque les signaux humoristiques et nuisibles coexistent. Ces résultats restent à confirmer au-delà des benchmarks étudiés, mais ils soulignent l’intérêt croissant pour des outils de modération à la fois multimodaux et explicables.