L’alignement de représentations entre deux encodeurs préentraînés — par exemple entre image et texte — repose souvent sur de très grands volumes de données appariées. Le papier “Representation Alignment from a Few Paired Data via Distilled Optimal Transport”, déposé sur arXiv, s’intéresse à un cadre beaucoup plus contraint : seulement 100 à 500 paires disponibles, mais des données non appariées abondantes de chaque côté.
La méthode proposée consiste d’abord à représenter chaque élément par ses similarités avec un petit ensemble d’ancres appariées. Cette étape place les deux modalités dans un même système de coordonnées. Les auteurs appliquent ensuite un transport optimal entropique sur l’ensemble du pool de données afin de faire correspondre les deux nuages de points. Selon le résumé, les contraintes marginales de cette formulation permettent de limiter un problème classique de hubness, qui pénalise souvent les approches de type plus proche voisin.
Le plan de correspondance obtenu est enfin distillé dans deux encodeurs légers, afin de rendre l’alignement inductif, c’est-à-dire réutilisable sur de nouveaux exemples. Un point notable est que seules les ancres doivent être réellement appariées : en dehors de ce petit sous-ensemble, les collections non appariées peuvent être échantillonnées indépendamment dans chaque modalité, sans observation conjointe systématique.
Les auteurs évaluent leur approche sur des tâches d’alignement image-texte et molécule-texte. D’après l’abstract, la méthode surpasse les approches existantes à budget d’ancres équivalent sur Flickr30k, MS-COCO et ChEBI-20. Comme souvent avec une publication arXiv, ces résultats devront être appréciés à la lumière d’éventuelles validations ultérieures, mais le travail met en avant une direction intéressante pour réduire fortement le coût en données appariées dans les systèmes multimodaux.