Worldmodeldata transforme les commandes de jeux vidéo en données d’entraînement pour les modèles du monde

La startup britannique Worldmodeldata développe une activité de fourniture de données d’entraînement à partir de jeux vidéo. Elle associe des enregistrements d’environnements 3D simulés aux commandes effectuées par les joueurs. L’entreprise affirme avoir obtenu sous licence près d’un million d’heures de données auprès de studios de jeux, sans préciser quels studios ni quels titres sont concernés.

Un autre type de corpus d’entraînement

Les modèles du monde ont besoin d’exemples reliant les observations aux actions et à leurs conséquences. De telles données pourraient un jour aider des systèmes à se déplacer dans des espaces ou à contrôler des équipements physiques. Pourtant, Internet ne propose pas d’équivalent aux immenses collections de textes utilisées pour entraîner les grands modèles de langage. Certains développeurs recueillent plutôt des démonstrations produites par des personnes ou des robots équipés de capteurs, une méthode qui génère des ensembles de données relativement restreints et répétitifs.

Les jeux vidéo comme chaîne d’approvisionnement

Conseillée par Yann LeCun, Worldmodeldata veut exploiter le grand volume de données d’interaction déjà produit par les jeux vidéo. Elle cherche à jouer le rôle d’intermédiaire en obtenant, organisant et conditionnant des contenus provenant de plusieurs studios. Les laboratoires d’IA pourraient ainsi éviter de négocier séparément avec chaque développeur. D’autres entreprises, comme General Intuition et Niantic, recueillent les données de leurs propres plateformes pour développer leurs modèles.

Rhea Loucas, directrice générale de la startup, estime que les données de jeux peuvent servir à un premier entraînement général, avant un affinage avec des informations propres à une tâche ou à un environnement réel. Worldmodeldata souhaite également mettre en place un futur dispositif permettant de rémunérer les joueurs individuellement. La source ne précise toutefois ni la date de lancement ni le fonctionnement envisagé de ce dispositif.

La quantité ne garantit pas le réalisme

L’hypothèse centrale reste à démontrer : des collections plus vastes de données visuelles et d’actions pourraient améliorer les modèles du monde, mais les environnements vidéoludiques simplifient ou modifient souvent les comportements physiques. Une commande peut montrer qu’une action a produit un résultat sans enregistrer les forces, la pression exercée par les doigts ou les mouvements précis nécessaires pour reproduire ce résultat avec une machine dans le monde réel.

Utile pour certaines tâches, limité pour d’autres

Ming-Yu Liu, qui dirige les travaux de Nvidia sur les modèles du monde, a déclaré à WIRED que les données issues des jeux vidéo se transféreraient probablement mal aux tâches exigeant un contrôle moteur fin, comme la manipulation précise d’objets. Nvidia utilise à la place un moteur conçu pour reproduire la physique du monde réel. Selon Liu, les données de jeux conviendraient davantage aux modèles destinés à produire des vidéos réalistes ou des environnements 3D. Xiatian Zhu, chercheur à l’Université de Surrey, décrit lui aussi les simulations vidéoludiques comme des approximations ancrées dans la physique, mais grossières.

Illustration éditoriale générée par IA ; ce n’est pas une photographie documentaire.

Source: The Next Evolution of AI Is Learning From Your Dodgy Gaming Skills