Des chercheurs ont dévoilé MDFB (Meeting Dynamic Forecasting Benchmark), un jeu d’évaluation conçu pour tester la capacité des modèles à anticiper la suite d’une réunion. Le benchmark s’appuie sur 2 207 réunions réelles et 24 794 requêtes portant sur la continuation probable d’un échange à partir d’un extrait de transcription et d’une question active. L’objectif n’est pas de reproduire mot pour mot la suite observée, mais de générer une continuation crédible et utile.
Le papier introduit également GLARE (*Generative Learning via Adversarial Reward Estimation*), une approche qui adapte l’apprentissage par imitation adversariale à la génération conditionnelle de texte. Concrètement, un discriminateur apprend à classer la continuation réellement observée au-dessus des sorties produites par le modèle courant. Ce score sert ensuite de signal de récompense, avec une régularisation KL, afin d’améliorer progressivement la politique de génération.
Les auteurs évaluent les modèles selon deux axes : l’utilité, c’est-à-dire la progression vers la question posée, et le caractère humain de la conversation, incluant la cohérence des rôles et la fluidité des échanges. D’après l’article, GLARE atteint des taux de victoire moyens évalués par des humains de 0,66 sur l’utilité et 0,70 sur le caractère humain, au-dessus de références comme SFT et SPIN, tout en restant en dessous de la continuation humaine observée.
Au-delà de la méthode, MDFB est présenté comme un terrain d’essai pour le raisonnement social des modèles généralistes, y compris des systèmes propriétaires, via des jugements assistés par référence. Cette publication, déposée sur arXiv, devra encore être confirmée par des validations plus larges, mais elle met en avant un cas d’usage concret pour évaluer et entraîner des IA sur des interactions multi-participants longues et nuancées.