Les *world models* occupent une place centrale dans l’apprentissage par renforcement fondé sur des modèles. Dans ce nouveau travail publié sur arXiv, les auteurs estiment toutefois que le débat est souvent posé de manière incomplète : au-delà des variables prédites — observations, récompenses, états ou variables latentes — il faut d’abord préciser quel canal est modélisé.
L’article distingue ainsi trois objets différents : le canal de l’environnement, qui relie les actions aux observations ; le canal de l’agent, qui relie les observations aux actions ; et le processus conjoint agent-environnement, considéré comme la dynamique réalisée de l’interaction. En s’appuyant sur la mécanique computationnelle, les auteurs définissent pour chacun de ces cas des modèles prédictifs canoniques, formulés sous forme d’ε-transducteurs ou d’ε-machines.
Selon le papier, cette formalisation permet de retrouver les représentations prédictives d’état classiques pour l’environnement, tout en proposant des équivalents pour l’agent et pour le système conjoint. Les auteurs introduisent aussi des modèles « restreints au support », c’est-à-dire limités aux continuations effectivement rendues possibles par le couplage en boucle fermée entre agent et environnement. Leur résultat structurel principal suggère que certains états causaux canoniques de l’environnement peuvent se factoriser via les états causaux du système conjoint ; une construction duale est avancée pour l’agent.
L’étude inclut enfin un exemple de type POMDP avec contrôleur, dans lequel le modèle d’environnement non restreint possède un nombre infini d’états, alors que le modèle canonique restreint par l’interaction devient fini. À ce stade, il s’agit d’une contribution théorique, mais elle pourrait aider la communauté à mieux comparer les approches de modélisation du monde et à mieux comprendre comment le couplage agent-environnement change la complexité effective des modèles.