NVIDIA a publié jeudi DreamDojo, un modèle mondial de base open source pour la robotique qui apprend comment les machines doivent interagir avec le monde physique en observant 44 711 heures de vidéos humaines, une initiative qui place le fabricant de puces au cœur d’une course qui s’intensifie pour construire l’infrastructure d’IA des robots polyvalents.
« C’est la simulation 2.0. Il est temps que la robotique prenne le virage de la leçon amère« , a écrit Jim Fan de NVIDIA dans l’annonce publiée sur LinkedIn. Le modèle, développé en collaboration avec des chercheurs de l’UC Berkeley, Stanford, l’Université des sciences et technologies de Hong Kong, l’Université du Texas à Austin et plusieurs autres institutions, prend les commandes motrices du robot en entrée et génère des états futurs prédits entièrement en pixels, sans moteur physique, sans dynamique codée manuellement.
44 711 heures de vidéos humaines égocentriques
Au cœur du système se trouve DreamDojo-HV, ce que l’équipe de recherche appelle le plus grand ensemble de données vidéo humaines égocentriques jamais assemblé pour le pré-entraînement de modèles du monde. L’ensemble de données couvre 6 015 tâches uniques et plus d’un million de trajectoires, ce qui le rend 15 fois plus grand et 2 000 fois plus diversifié en termes de scènes que tout ensemble de données robotiques antérieur.
Étant donné que les vidéos humaines ne contiennent pas d’étiquettes d’actions spécifiques aux robots, l’équipe a introduit des « actions latentes continues« , une méthode auto-supervisée qui déduit ce qui a changé entre les images vidéo sans avoir besoin de connaître le matériel sous-jacent. Cela permet au modèle de traiter n’importe quelle vidéo en première personne comme si elle était accompagnée de commandes motrices.
« Nous pré-entraînons sur 44 000 heures de vidéos humaines sans aucun robot dans la boucle. Les humains ont déjà exploré les combinaisons : nous saisissons, versons, plions, assemblons, échouons, réessayons, à travers des scènes encombrées, des points de vue changeants et des chaînes de tâches d’une heure, à une échelle qu’aucune flotte de robots ne pourrait égaler« , explique Jim Fan.
Inférence temps réel à 10 FPS
Après un pré-entraînement sur des vidéos d’humains, DreamDojo subit une seconde phase de post-entraînement sur des données de robots cibles, adaptant ainsi ses connaissances physiques générales à des équipements spécifiques tels que les humanoïdes GR-1, G1 et AgiBot. Grâce à un processus de distillation, le modèle atteint une inférence en temps réel à 10,81 images par seconde, stable pendant plus d’une minute d’exécution continue.
Cette vitesse déverrouille plusieurs applications : la téléopération en direct via des contrôleurs VR (démontré sur Unitree G1 avec un casque PICO et une RTX 5090), l’évaluation de politiques sans déploiement physique, et une planification basée sur le modèle qui a permis d’obtenir une amélioration de 17% des taux de réussite en conditions réelles sur une tâche d’emballage de fruits.
Tout en open source : code, poids, datasets
NVIDIA a publié deux variantes, un modèle de 2 milliards de paramètres et une version de 14 milliards de paramètres, toutes deux pré-entraînées sur 256 GPU H100 et construites sur la plateforme open weight Cosmos-Predict2.5 de l’entreprise. La publication comprend les poids du modèle, le code sur GitHub sous licence Apache 2.0, les jeux de données de post-entraînement et les benchmarks d’évaluation. Le site web du projet et le papier de recherche sont également disponibles.
Cette sortie intervient dans un contexte plus large de développement de modèles du monde pour l’IA physique. Genie 3 de Google DeepMind et 1XWM de 1X Technologies figurent parmi les initiatives concurrentes. Jensen Huang, PDG de NVIDIA, a présenté à plusieurs reprises l’IA physique comme une opportunité générationnelle, déclarant au CES 2026 que « le moment ChatGPT de la robotique est arrivé« . Alors que les startups de robotique ont levé 26,5 milliards de dollars (environ 24,4 milliards d’euros) rien qu’en 2025, la sortie en open source de DreamDojo constitue un pari stratégique : rattacher la communauté de recherche à l’écosystème logiciel et matériel de NVIDIA portera ses fruits à mesure que l’industrie se développera.
2026 est l’année des modèles du monde pour l’IA physique. Nous voulons que vous construisiez avec nous. Bon scaling ! – Jim Fan.
