La créativité des modèles multimodaux de grande taille (MLLM) devient un enjeu concret pour le design, l’éducation ou encore la collaboration humain–IA. Pourtant, son évaluation reste délicate, faute de cibles explicites et de signaux de récompense comparables à ceux des tâches classiques de précision. Dans ce contexte, des chercheurs présentent C4, un cadre d’évaluation centré sur la compréhension croisée de concepts.
Le principe consiste à tester si un modèle peut retrouver un sens voulu à partir de relations conceptuelles non évidentes mais cohérentes. Les auteurs s’appuient sur les chengyu, des idiomes chinois, pour formaliser cette capacité. Leur approche modélise la création d’un item comme un encodage entre concepts, puis l’inférence du modèle comme un décodage. Le cadre repose sur un réseau de relations annoté manuellement et relu par des tiers, avec des niveaux de difficulté définis par le nombre et la profondeur des “ponts” conceptuels.
À partir de cette méthode, l’équipe a construit C4-Eval, un jeu d’évaluation composé de 184 items synthétiques et de 37 figures créées par des humains collectées en ligne. Chaque item est décliné en cinq configurations de tâche, pour un total de 884 cas principaux de récupération de réponse. L’objectif est de fournir une base plus structurée pour mesurer une forme de créativité réceptive, c’est-à-dire la capacité à comprendre une idée créative plutôt qu’à en produire une.
Les résultats rapportés montrent un plafond encore modeste. Parmi dix MLLM évalués, les meilleurs modèles fermés atteignent 50,7 % et 48,0 % de précision principale, tandis que les modèles open source restent nettement en retrait. Les contraintes sur les candidats améliorent sensiblement les scores, mais les indices de pont conceptuel ou les demandes d’explication n’apportent que des gains limités. Selon les auteurs, cela met en évidence un écart important entre les performances actuelles des MLLM et une véritable compréhension du sens créatif encodé entre concepts.