L’IA générative peut créer du contenu remarquablement convaincant. Mais pour qu’une IA puisse fonctionner de façon fiable dans le monde physique, elle doit aussi être capable de prédire ce qui se passera ensuite et comment ses propres actions pourraient modifier son environnement.

Contexte

Au cours des dernières années, l’IA générative a progressé à un rythme remarquable. Elle est partout : la vision par ordinateur a été révolutionnée par des générateurs d’images comme DALL-E et Midjourney; les systèmes d’entreprise sont transformés par la génération augmentée par récupération (RAG) et les agents autonomes; et les grands modèles de langage (LLM) comme ChatGPT et Gemini sont devenus des standards de l’industrie.

Le monde physique présente toutefois un défi fondamentalement différent.

Imaginez demander à un robot de pointe, capable d’interpréter la vision et le langage, de se déplacer dans une cuisine bondée et chaotique afin d’aller chercher un verre à vin sans le casser. Même les systèmes avancés combinant vision, langage et action peuvent éprouver des difficultés lorsque les conditions diffèrent des données sur lesquelles ils ont été entraînés, ou lorsqu’une tâche exige un raisonnement physique précis comportant plusieurs étapes. [1] Malgré les avancées majeures des dernières années, les modèles d’IA actuels présentent encore d’importantes limites lorsqu’ils sont appliqués à des scénarios physiques complexes du monde réel.

Pourquoi? Parce que générer une réponse plausible n’est pas la même chose que prédire les conséquences d’une action.

Reconnaître des tendances n’est pas la même chose que modéliser le monde

Les modèles génératifs sont exceptionnels pour découvrir et reproduire des corrélations statistiques dans les données, mais ils ont de la difficulté à généraliser les règles sous-jacentes de la réalité. Cela s’explique notamment par le fait que certains éléments de notre monde sont purement stochastiques, donc intrinsèquement aléatoires et imprévisibles.

Cela ne veut pas dire que ces modèles ne possèdent aucune représentation utile du monde. Cela signifie plutôt que leurs objectifs d’entraînement ne sont pas toujours conçus autour des questions auxquelles un système physique doit répondre :

• Qu’est-ce qui est en train de changer?
• Qu’est-ce qui va probablement se produire ensuite?
• Que va-t-il se passer si j’effectue une action précise?
• À quel point suis-je certain de cette prédiction?

Une partie de la difficulté vient du fait que le monde réel contient à la fois des structures prévisibles et des événements stochastiques ou intrinsèquement incertains.

Le problème du loup et du husky

Imaginez un ensemble de données [2] dans lequel toutes les photos de huskys ont été prises dans la neige, alors que toutes les photos de labradors ont été prises dans un jardin verdoyant. Un modèle génératif convergera rapidement vers un raccourci : il regardera l’arrière-plan plutôt que l’animal. Si vous placez un husky dans un jardin vert, le modèle l’identifiera comme un labrador.

Cela se produit parce que le modèle ne possède pas le niveau d’abstraction nécessaire pour réellement comprendre le contexte. La nature même des données vient aussi amplifier le problème. L’IA générative traite généralement les données comme des classes distinctes : les LLM prédisent, par exemple, le prochain jeton à partir d’un vocabulaire fixe. Or, le monde réel est intrinsèquement continu, fluide et dynamique.

Pour atteindre la prochaine frontière en matière d’automatisation, de véritable autonomie, de robotique avancée et de véhicules autonomes fiables, nous avons besoin d’un nouveau paradigme.

Nous avons besoin de modèles du monde.

Pourquoi les modèles du monde émergent et pourquoi les LLM ont besoin d’un nouveau paradigme

Les LLM sont des systèmes extrêmement performants de reconnaissance de motifs et de prédiction. Ils sont entraînés de façon auto-supervisée sur d’immenses quantités de texte afin de répondre à une question en apparence très simple : « Quel est le jeton le plus susceptible de suivre cette séquence compte tenu du contexte? »

Cette approche fonctionne remarquablement bien pour le langage, mais elle n’est pas suffisante à elle seule lorsqu’une IA doit comprendre des contraintes physiques comme la gravité, la quantité de mouvement, la friction ou la dynamique des fluides. On ne peut pas simplement guider un véhicule à l’aide d’une « invite textuelle » pour qu’il traverse de façon sécuritaire une situation d’aquaplanage.

De nombreux modèles du monde abordent ce défi en encodant les données sensorielles, comme des images, des vidéos ou des données provenant de capteurs robotiques, dans un espace latent, plutôt que de tenter de prédire chaque détail des données brutes.

On peut voir l’espace latent comme une sorte de « bac à sable mental » mathématique hautement optimisé. Le niveau d’abstraction à l’intérieur de cet espace dépend de la tâche à accomplir.

Prenons un exemple concret : une voiture autonome.

Si un véhicule roule à 80 km/h et que son système de contrôle envisage d’accélérer, un modèle entraîné à générer de futures images de caméra pourrait tenter de prédire la prochaine image. Il s’agit d’une tâche très complexe. Un piéton pourrait entrer dans le champ de vision ou un nuage pourrait se déplacer dans le ciel. Certains de ces événements sont stochastiques, ce qui signifie qu’il est difficile, voire impossible, de les prédire avec précision.

Un modèle de génération d’images pourrait être pénalisé pendant son entraînement parce qu’il n’a pas réussi à prédire le déplacement du nuage, même si ce détail a très peu d’importance pour la décision de conduite.

Un modèle du monde bien conçu aborde la situation autrement. Plutôt que de reconstruire chaque détail visible, il peut prédire la prochaine représentation latente de l’état. Sa représentation peut accorder moins d’importance au déplacement d’un nuage ou à une feuille emportée devant la caméra. Son « bac à sable mental » peut plutôt se concentrer sur la dynamique du véhicule, la trajectoire de la route et les obstacles pertinents.

En réduisant l’influence des détails qui ne sont pas pertinents pour la tâche, le modèle peut créer une représentation plus utile pour prédire les résultats et évaluer les actions possibles.

Modèles du monde et IA générative : quelle est la différence?

Pour comprendre en quoi ces deux paradigmes diffèrent, on peut les comparer selon trois dimensions principales :

‍

Comment fonctionnent réellement les Route modèles du monde

Les modèles du monde modernes, souvent fondés sur des cadres de type Joint Embedding Predictive Architecture (JEPA) [3], reposent sur plusieurs composantes distinctes et interconnectées pour traiter la réalité.
‍

1. L’encodeur de contexte

Le système reçoit des données sensorielles brutes, comme des flux vidéo, des nuages de points LiDAR ou les angles des articulations d’un robot, puis les transmet à l’encodeur de contexte. Cette composante compresse les données à haute dimension afin de produire une représentation latente plus compacte.

L’objectif est de préserver l’information utile à la tâche tout en réduisant les détails inutiles. Le modèle ne distingue toutefois pas automatiquement l’information utile du bruit : ce qu’il apprend à conserver dépend de son architecture, de ses données d’entraînement et de son objectif d’apprentissage.

2. Le prédicteur

Le prédicteur prend la représentation latente actuelle et estime une représentation cible ou future.

Dans un modèle du monde conditionné par l’action, il peut également recevoir une action proposée. Cette action peut être représentée sous forme de valeur scalaire ou de vecteur, par exemple une commande demandant de tourner le volant de cinq degrés vers la gauche.

Il estime ensuite comment l’état représenté pourrait changer à la suite de cette action. Surtout, il peut produire un vecteur latent prédit plutôt qu’une image brute.

Pour un véhicule, le prédicteur pourrait estimer comment l’accélération modifierait des facteurs comme la vitesse, la position et la proximité des obstacles, sans avoir à reconstruire chaque détail visuel de l’environnement.

Dans d’autres systèmes de type JEPA, le prédicteur peut plutôt estimer la représentation d’une région masquée d’une image ou d’un segment futur d’une vidéo. La cible précise de la prédiction dépend de l’architecture et de l’objectif d’entraînement.

3. L’encodeur cible

L’encodeur cible est principalement utilisé pendant l’entraînement.

Il traite l’observation cible, par exemple une région masquée d’une image ou une véritable image future provenant d’une vidéo, et l’encode dans le même espace latent que l’entrée contextuelle.

Le système compare ensuite la sortie du prédicteur avec la représentation produite par l’encodeur cible. La différence entre les deux sert de signal d’entraînement pour améliorer les prédictions du modèle.

Dans de nombreuses implémentations de JEPA, l’encodeur cible n’est pas nécessaire pendant l’inférence, même si la configuration précise peut varier d’une architecture à l’autre.

4. La composante en aval

Une fois que le modèle a appris des représentations utiles ou une dynamique prédictive, il peut être relié à une composante en aval propre à une tâche donnée. C’est à cette étape que la prédiction peut guider une décision ou une action concrète.

Qu’il s’agisse de classification, de régression ou de contrôle moteur robotique, cette composante en aval utilise les représentations apprises pour produire des résultats adaptés à la tâche.

Pour un robot ou un véhicule autonome, cela peut comprendre un planificateur qui évalue différentes actions possibles et un contrôleur qui exécute le mouvement choisi. Le système complet peut aussi nécessiter une fonction objectif, une estimation de l’incertitude, une rétroaction en temps réel provenant des capteurs et des contraintes de sécurité explicites.

Même si un modèle du monde peut apprendre des approximations utiles de la dynamique d’un environnement, il ne devrait pas être décrit comme un « moteur physique » complet, pas plus qu’il ne garantit des décisions hautement précises dans des situations inconnues.

La suite : défis et avenir

Même si les modèles du monde représentent une avenue prometteuse, plusieurs obstacles importants devront encore être surmontés avant qu’ils puissent être déployés de façon fiable à grande échelle.

Le risque d’effondrement des représentations

L’entraînement de modèles d’apprentissage de représentations peut être difficile. L’un des modes d’échec possibles est l’effondrement des représentations, où le modèle découvre une façon triviale de minimiser son objectif d’entraînement.

Il peut commencer à associer des scénarios du monde réel complètement différents au même vecteur latent constant ou très peu informatif. Même si cela peut réduire la perte d’entraînement, le modèle n’apprend alors plus à distinguer adéquatement les différentes entrées, ce qui peut rendre ses représentations inutilisables.

La propagation autorégressive des erreurs

Certains modèles du monde fonctionnent de manière autorégressive, c’est-à-dire qu’ils réinjectent leurs propres prédictions précédentes dans le modèle afin de simuler plus loin dans le futur.

Si un état latent contient ne serait-ce qu’un léger biais ou une petite erreur, celle-ci peut s’accumuler au fil des étapes de prédiction et faire en sorte que la simulation interne du modèle s’éloigne progressivement de la réalité.

Des coûts élevés en calcul et en interactions

Construire un modèle utile d’un environnement complexe peut exiger d’immenses quantités de données, de nombreuses interactions répétées avec l’environnement et une infrastructure informatique considérable.

Les données provenant d’interactions physiques peuvent être particulièrement difficiles à recueillir, puisque les expérimentations dans le monde réel peuvent être lentes, coûteuses ou dangereuses.

Conclusion

L’avenir de l’intelligence artificielle ne se limite pas à une collection de robots conversationnels plus intelligents, de techniques de formulation d’invites plus sophistiquées ou de générateurs d’images plus créatifs.

L’une des prochaines grandes frontières du domaine consiste à développer des systèmes capables d’interagir avec le monde physique de façon sécuritaire et intelligente, tout en s’adaptant à des conditions changeantes et inattendues.

En allant au-delà de la simple génération de pixels convaincants pour adopter des représentations qui captent les structures et les dynamiques pertinentes, les modèles du monde peuvent aider les systèmes d’IA à prédire les résultats, à évaluer différentes actions possibles et à fonctionner plus efficacement dans des environnements physiques.

Ils ne constituent pas à eux seuls une solution complète, mais ils pourraient devenir une composante importante des systèmes d’ingénierie plus vastes nécessaires pour faire passer l’IA de l’écran au monde réel.

‍

‍