Les chercheurs à l’origine de **DrawingVQA** proposent ce qu’ils décrivent comme le premier benchmark conçu pour évaluer les modèles de langage multimodaux sur des **dessins de construction réels**. L’enjeu est important: dans l’architecture, le génie civil et d’autres disciplines d’ingénierie, ces documents structurent une grande partie des flux de travail, mais restent très différents des images naturelles ou des plans simplifiés souvent utilisés pour tester l’IA.
Le jeu de données s’appuie sur **33 dessins “Issued for Construction”** et **92 paires question-réponse** élaborées par des experts. Les auteurs distinguent **trois niveaux de raisonnement**: la compréhension perceptive, l’interprétation contextuelle et le raisonnement de niveau expert. Cette progression vise à mieux refléter la complexité réelle de documents qui combinent géométrie abstraite, symboles, tableaux, annotations et vocabulaire métier.
L’article introduit aussi un **cadre de catégorisation double** pour analyser les résultats selon **sept dimensions liées à l’ingénierie de la construction** et **quatre dimensions de capacités des MLLM**. Selon les auteurs, il s’agit d’une première tentative explicite pour relier des tâches d’ingénierie concrètes à des compétences de raisonnement IA. Cette approche pourrait aider à identifier plus précisément où les modèles réussissent, et surtout où ils échouent.
Les évaluations menées sur des **MLLM de pointe** montrent un **écart substantiel avec les experts**, particulièrement sur les tâches demandant le plus de profondeur de raisonnement. À ce stade, l’étude ne suggère pas que ces systèmes soient prêts à remplacer l’expertise humaine sur ce type de documents. En revanche, DrawingVQA pourrait devenir une base utile pour développer des modèles plus spécialisés, mieux adaptés à l’intégration de l’IA dans les workflows d’ingénierie réels.