Les *world models* utilisés pour le contrôle visuel apprennent souvent des états latents en reconstruisant l’ensemble d’une observation. Selon les auteurs de TaskSense, cette logique peut détourner une partie de la capacité du modèle vers des détails d’arrière-plan ou des distracteurs visuels, alors même que les informations réellement utiles à la décision n’occupent parfois qu’une faible portion de l’image.
Pour répondre à ce décalage, l’article propose un cadre centré sur la tâche qui applique, avant l’encodage latent, un mécanisme d’attention spatiale stochastique différentiable. Cette attention est conditionnée par l’état latent précédent afin de privilégier les régions jugées pertinentes pour le contrôle. Les auteurs ajoutent aussi un objectif auxiliaire d’inverse dynamics, destiné à guider l’attention vers les zones liées à l’action et à ses effets.
Autre différence notable: au lieu de reconstruire l’observation complète, TaskSense ne reconstruit que les régions sélectionnées par l’attention. L’objectif est d’encourager la représentation latente à conserver l’information utile à la tâche tout en écartant le contenu visuel superflu. Le décodeur est en outre conditionné par la carte d’attention échantillonnée, afin de maintenir une reconstruction cohérente malgré le caractère stochastique du mécanisme.
D’après le résumé arXiv, TaskSense reste compétitif face à DreamerV3 sur la DeepMind Control Suite et le surpasse de manière régulière sur la Distracting Control Suite, un benchmark conçu pour tester la robustesse aux perturbations visuelles. Les auteurs indiquent également que l’analyse qualitative montre une localisation plus fiable des régions utiles au contrôle. À ce stade, ces résultats proviennent de la version initiale du préprint et devront être confirmés par des évaluations complémentaires.