Une IA recrée des jeux vidéo en regardant une personne jouer.

Habituellement, lorsqu’on mêle jeux vidéo et intelligence artificielle, il se passe que l’IA devient actrice en prenant les contrôles du jeu. Plus elle joue, plus elle devient forte. C’est sur ce principe que nous avons eu l’occasion d’admirer l’intelligence artificielle de Google battre le champion du monde de jeu de go. Pourtant, une équipe de chercheurs du Georgia Institute of Technology a essayé un fonctionnement bien différent : recréer un jeu en regardant quelqu’un y jouer.

Comprendre comment le jeu fonctionne, plus que de savoir comme y jouer pour gagner, devient vraiment complexe pour une IA. Dans leur papier intitulé Game Engine Learning from Video, l’équipe présente une IA capable de recréer le moteur d’un jeu comme Super Mario Bros, simplement en regardant comme il se joue. Sachant que le système n’a pas accès au code, elle ‘regarde les pixels, et apprend’.

C’est une première mondiale, et le résultat est plutôt impressionnant. Même s’il y a quelques erreurs dans le design, ce qui est plutôt logique, le reste est fonctionnel. Pour arriver à reproduire tout cela, l’intelligence artificielle identifie tous les éléments visuels du jeu, puis note tout le fonctionnement de ce qui l’entoure (la vitesse des objets et leurs déplacements). À la fin, elle arrive à reprendre le gameplay du jeu, en notant tout ce qu’elle voit, et créant des règles pour chaque action.

Dans un futur proche, l’IA créée par les chercheurs du Georgia Institute of Technology pourrait sortir de son périmètre d’action qui est le jeu vidéo. Elle pourrait servir notamment à renforcer la compréhension de l’IA sur l’Homme. Avec le même concept, il lui suffirait de regarder la manière dont nous nous comportons pour réaliser quelque chose. On serait sur un niveau encore plus complexe, mais qui pourrait déboucher sur de meilleures interactions homme-machine.