Les modèles vision-langage sont de plus en plus mobilisés pour répondre à des questions multimodales, mais il reste difficile de mesurer précisément leur compréhension de la structure spatiale d’une image. Dans ce contexte, les auteurs de StateSight proposent un benchmark procédural visant à isoler cette compétence, sans la mélanger à d’autres facteurs comme l’OCR, les connaissances métier ou des biais linguistiques.
Le benchmark couvre trois familles de tâches: le raisonnement sur les faces opposées d’un patron de cube, le comptage de tours de cubes partiellement occultées, et le comptage de composantes connexes en voisinage à quatre directions. Chaque famille comprend 300 prompts à image unique, avec des labels déterministes et une évaluation en correspondance exacte. Les auteurs introduisent aussi StateSight-Steps, un jeu de données complémentaire de 900 exemples image-texte et 3 600 états visuels intermédiaires déterministes.
Côté résultats, OpenAI GPT-5.5 atteint 59,3 %, 33,3 % et 28,3 % de précision sur les trois tâches, tandis que Claude Sonnet 5 obtient 53,3 %, 18,7 % et 7,3 %. Les auteurs précisent que toutes les exécutions directes finales ont produit des réponses sans erreur de format. Pourtant, un panel humain de 30 participants, évalué sur 60 items, surpasse les deux modèles sur chaque tâche, avec des moyennes de 80,8 %, 68,8 % et 64,3 %.
L’intérêt principal de l’étude est de montrer qu’une sortie formellement correcte ne garantit pas une bonne reconstruction de l’état spatial sous-jacent. L’analyse des dérivations visibles met en avant des erreurs récurrentes dans la reconstitution de la scène et dans la procédure de raisonnement. À ce stade, ces résultats, encore issus d’un article arXiv non évalué par les pairs, suggèrent que la fiabilité des VLM sur des inférences visuelles vérifiables reste un chantier ouvert.