Nvidia, le concepteur de matériel informatique, a réussi à réaliser une démo de jeu où le protagoniste pouvait explorer en voiture une ville dont les graphismes étaient générés par une IA à partir de vidéos du monde réel. L’ensemble était très élaboré, bien qu’encore éloigné des standards actuels. Le vice-président de la société concernant le Deep Learning (technique d’apprentissage aux IA), Bryan Catanzaro, s’est longuement exprimé à ce sujet. Et le moins que l’on puisse dire, c’est que le travail de ses équipes est impressionnant.
©Nvidia
À gauche, une image étudié par l’IA. À droite, une reconstitution proposée dans la démo de jeu.
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
D’abord, une récolte de données
Pour réaliser le jeu, les chercheurs de NVIDIA ont dû d’abord trouver des données pour que l’IA puisse apprendre à reconnaitre un environnement urbain et une situation de conduite. Une fois ceci fait, le programme classait chaque pan de l’image (la route, la voiture conduite, le ciel et les buildings …) en différentes catégories. À ce moment là, un réseau accusatoire génératif (GAN) s’entrainait alors à l’aide de ces données pour pouvoir recomposer différentes versions de ces catégories de décor.
Ensuite, l’usage des moteurs de jeu
Une fois l’IA capable de générer les éléments virtuels, les chercheurs ont utilisé le moteur Unreal Engine 4. Ce logiciel est déjà plébiscité par des leaders de l’industrie vidéoludique ou pour les remakes fan-made de vielles licences. Ici, il a été utilisé pour créer la topographie du lieu. À partir de cette carte terrestre vide, l’IA a ensuite utilisé ses connaissances pour construire les décors. Comme le souligne Catanzaro, « la structure du monde est créée traditionnellement », seuls les graphismes sont générés par l’intelligence artificielle.
Le projet a rencontré une grande difficulté
Puisque l’IA générait un très grand nombre d’images à la fois (25/s), elle avait tendance à ne pas recomposer exactement la même chose d’une image à l’autre. Pour combler ce problème, les chercheurs l’ont muni d’une mémoire à court terme. De cette manière, elle créait le prolongement des décors en s’inspirant de ce qu’elle avait généré dans les images les plus récentes. Bryan Catanzaro estime que pour l’IA soit pleinement opérationnelle dans la conception des graphismes de jeux vidéo, il faudra encore un nombre considérable d’années.
Une recherche qui ouvre un large champ de possibilités
Alors que l’IA était déjà capable de réaliser une caricature à partir d’une image, ou de reproduire des mouvements à partir d’une vidéo. Cette nouvelle corde qui s’ajoute à son arc lui offre un éventail de capacités impressionnant pour l’avenir. Les plus optimistes peuvent d’ores et déjà s’imaginer réalisateur d’un jeu vidéo se produisant dans leur ville, ou avec un héros pilotant leur voiture. Les actrices et les politiques, eux, doivent moins apprécier. Alors que l’on peut déjà générer des films pornographiques avec comme protagonistes les premières, et faire dire des faux propos aux deuxièmes, on préfère ne pas imaginer la suite. Rassurons nous quand même, Nvidia travaillerait avec des partenaires pour créer un logiciel pouvant repérer les fakes produits via l’IA.
