L'attention de la recherche sur les modèles du monde s'est initialement concentrée sur l'apprentissage de représentation et la prédiction future. Les modèles comprennent d'abord le monde, puis simulent les états futurs en interne. Cette approche a déjà produit un certain nombre de résultats représentatifs. V-JEPA 2 (Video Joint Embedding Predictive Architecture 2 — un ensemble de modèles du monde vidéo publié par Meta en 2025) utilise plus d'un million d'heures de vidéos Internet pour l'apprentissage préalable, puis combine une petite quantité de données d'interaction robotique, démontrant le potentiel des modèles du monde dans la compréhension, la prédiction et la planification robotique zero-shot.
Mais un modèle qui prédit n'est pas nécessairement un modèle qui peut gérer des tâches longues. Face à un contrôle multi-étapes, le système rencontre généralement deux difficultés. La première est que l'erreur de prédiction s'accumule continuellement lors d'un long rollout (simulation multi-étapes continue), ce qui fait que le chemin entier dévie de plus en plus de l'objectif. L'autre est que l'espace de recherche d'actions s'élargit rapidement avec l'augmentation de l'horizon (portée de planification), entraînant une augmentation continue du coût de planification. Le HWM ne réécrit pas l'approche d'apprentissage fondamentale des modèles du monde, mais ajoute plutôt une structure de planification hiérarchique sur un modèle du monde existant avec conditionnement d'actions, permettant au système d'organiser d'abord le chemin par étapes, puis de traiter les actions locales.
D'un point de vue technique, V-JEPA 2 (https://ai.meta.com/research/vjepa/) est plus orienté vers la représentation du monde et la prédiction de base, le HWM est plus orienté vers la planification à long terme, et WAV (World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry, https://arxiv.org/abs/2604.01985) est plus orienté vers l'identification et la correction par le modèle de ses propres distorsions de prédiction. Ces trois axes convergent progressivement. L'accent de la recherche sur les modèles du monde est passé de la simple prédiction de l'avenir à la transformation de la capacité de prédiction en une capacité système exécutable, corrigeable et vérifiable.
I. Pourquoi le contrôle à long terme reste-t-il un goulot d'étranglement pour les modèles du monde
La difficulté du contrôle à long terme est plus facile à voir dans les tâches robotiques. Prenons l'exemple de la manipulation par un bras robotique : saisir une tasse et la placer dans un tiroir n'est pas une action unique, mais une séquence d'étapes continues. Le système doit s'approcher de l'objet, ajuster sa posture, accomplir la saisie, se déplacer vers la position cible, puis gérer le tiroir et le placement. Plus la chaîne est longue, plus deux problèmes apparaissent simultanément. Le premier est que l'erreur de prédiction s'accumule continuellement le long du rollout, l'autre est que l'espace de recherche d'actions s'élargit rapidement.
Ce qui manque généralement au système, ce n'est pas la capacité de prédiction locale, mais la capacité d'organiser un objectif lointain en un chemin par étapes. De nombreuses actions semblent localement s'écarter de l'objectif, mais sont en réalité des étapes intermédiaires nécessaires pour l'atteindre. Par exemple, lever le bras avant de saisir, ou reculer un peu et ajuster l'angle avant d'ouvrir un tiroir.
Dans les tâches de démonstration, les modèles du monde sont déjà capables de fournir des prédictions cohérentes. Mais lorsqu'ils entrent dans des scénarios de contrôle réels, les performances commencent à baisser et les problèmes émergent. La pression ne vient pas seulement de la représentation elle-même, mais aussi d'une couche de planification encore immature.
II. Comment le HWM restructure le processus de planification
Le HWM divise le processus de planification, initialement réalisé en une seule couche, en deux couches. La couche supérieure est responsable de l'orientation par étapes sur une échelle de temps plus longue, la couche inférieure est responsable de l'exécution locale sur une échelle de temps plus courte. Le modèle ne planifie pas à un seul rythme, mais planifie simultanément à deux rythmes temporels différents.
Les méthodes à couche unique, lorsqu'elles traitent des tâches longues, nécessitent généralement de rechercher directement la chaîne d'actions complète dans l'espace d'actions de base. Plus la tâche est longue, plus le coût de recherche est élevé, et plus l'erreur de prédiction a tendance à se propager de manière continue le long du rollout multi-étapes. Après avoir séparé le processus, le HWM fait en sorte que la couche haute ne traite que le choix du chemin sur une échelle de temps plus longue, et la couche basse ne traite que l'accomplissement de la séquence d'actions courante. La tâche longue entière est divisée en plusieurs tâches plus courtes, réduisant ainsi la complexité de la planification.
Il y a aussi une conception clé ici : l'action de haut niveau n'est pas simplement un enregistrement de la différence entre deux états, mais utilise un encodeur pour compresser une séquence d'actions de bas niveau en une représentation d'action de plus haut niveau. Pour une tâche longue, la clé n'est pas seulement la différence entre le point de départ et le point d'arrivée, mais aussi comment les étapes intermédiaires sont organisées. Si le niveau supérieur ne regarde que la différence de déplacement, il risque de perdre les informations de chemin dans cette chaîne d'actions.
Le HWM incarne une manière hiérarchique d'organiser les tâches. Face à un travail multi-étapes, le système ne déploie plus toutes les actions en une fois, mais forme d'abord un chemin d'étapes plus grossier, puis exécute et corrige étape par étape. Cette relation hiérarchique, une fois intégrée au modèle du monde, permet à la capacité de prédiction de commencer à se transformer plus stablement en capacité de planification.
III. De 0% à 70%, que montrent les résultats expérimentaux
Dans la tâche du monde réel de saisie et placement configurée dans l'article, le système ne reçoit que la condition finale de l'objectif, sans objectifs intermédiaires prédéfinis manuellement. Dans ces conditions, le taux de réussite du HWM atteint 70%, tandis que celui d'un modèle du monde à couche unique est de 0%. La tâche longue, presque impossible à accomplir à l'origine, est devenue un résultat probablement réalisable après l'introduction de la planification hiérarchique.
L'article a également testé des tâches de simulation telles que la poussée d'objets et la navigation dans un labyrinthe. Les résultats montrent que la planification hiérarchique n'améliore pas seulement le taux de réussite, mais réduit également le coût computationnel de la phase de planification. Dans certains environnements, le coût computationnel de la phase de planification peut être réduit jusqu'à environ un quart du coût original, tout en maintenant un taux de réussite plus élevé ou équivalent.
IV. De V-JEPA à HWM en passant par WAV
V-JEPA 2 représente l'approche de la représentation du monde. V-JEPA 2 utilise plus d'un million d'heures de vidéos Internet pour l'apprentissage préalable, puis combine moins de 62 heures de vidéos robotiques pour un post-training (entraînement ciblé après l'apprentissage préalable), obtenant un latent action-conditioned world model (modèle du monde dans l'espace de représentation abstraite, effectuant des prédictions en combinant des informations d'action) qui peut être utilisé pour la compréhension, la prédiction et la planification du monde physique. Il démontre que le modèle peut acquérir une représentation du monde par une observation à grande échelle et transférer cette représentation à la planification robotique.
Le HWM intervient à l'étape suivante. Le modèle possède déjà une représentation du monde et une capacité de prédiction de base, mais dès qu'il entre dans un contrôle multi-étapes, les problèmes d'accumulation d'erreurs et d'expansion de l'espace de recherche éclatent. Le HWM ne change pas l'approche fondamentale d'apprentissage de représentation, mais ajoute une structure de planification multi-échelle temporelle sur un modèle du monde existant avec conditionnement d'actions. Le problème qu'il traite est de savoir comment le modèle organise un objectif lointain en un ensemble d'étapes intermédiaires, puis les exécute étape par étape.
Le WAV place quant à lui l'accent sur la capacité de vérification. Pour entrer dans des scénarios d'optimisation de stratégie et de déploiement, un modèle du monde ne doit pas seulement savoir prédire, il doit aussi être capable d'identifier les domaines où il est susceptible de se distordre et de procéder à des corrections en conséquence. Il se concentre sur la façon dont le modèle s'auto-vérifie.
V-JEPA est orienté vers la représentation du monde, HWM vers la planification de tâches, WAV vers la vérification des résultats. Bien que leurs points d'intérêt diffèrent, la direction générale est la même. La prochaine étape des modèles du monde ne consiste plus seulement en une prédiction interne, mais en la connexion progressive de la prédiction, de la planification et de la vérification en un ensemble de capacités systémiques.
V. De la prédiction interne vers un système exécutable
De nombreux travaux antérieurs sur les modèles du monde se rapprochaient davantage de l'amélioration de la continuité de la prédiction des états futurs, ou de la stabilité de la représentation interne du monde. Mais l'accent de la recherche actuelle commence à changer : le système doit à la fois former un jugement sur l'environnement, transformer ce jugement en action, et continuer à corriger l'étape suivante une fois le résultat obtenu. Pour se rapprocher d'un déploiement réel, il faut contrôler la propagation des erreurs dans les tâches à long terme, compresser la portée de la recherche et réduire les coûts d'inférence.
Ce type de changement affectera également les agents IA. De nombreux systèmes d'agents peuvent déjà accomplir des tâches à court terme, comme appeler des outils, lire des fichiers, exécuter des instructions en plusieurs étapes. Mais dès que la tâche devient une longue chaîne, multi-étapes, nécessitant une re-planification en cours de route, les performances chutent. Cela n'est pas fondamentalement différent de la difficulté du contrôle robotique : une capacité insuffisante d'organisation du chemin de haut niveau entraîne un découplage entre l'exécution locale et l'objectif global.
L'approche hiérarchique offerte par le HWM — une couche haute responsable du chemin et des objectifs d'étape, une couche basse responsable des actions locales et du traitement des retours, le tout superposé à une vérification des résultats — cette structure hiérarchique continuera à apparaître dans davantage de systèmes à l'avenir. L'étape suivante des modèles du monde ne se concentrera plus seulement sur la prédiction de l'avenir, mais sur l'organisation de la prédiction, de l'exécution et de la correction en un chemin exécutable.
