Tester l’efficacité d’une intelligence artificielle n’est pas chose aisée. Pour obtenir un indice de performances fiable et surtout concret, DeepMind, filiale d’Alphabet et de Google, use depuis quelques années d’une méthode bien particulière : faire jouer ses IA à une liste de 57 jeux issus du catalogue Atari. Ces titres ont trois avantages, il sont simples, forcent les IA à utiliser des compétences variées et affichent tous un score à l’issue des parties. De quoi permettre à DeepMind de dresser un bilan précis à la fin de chaque test… mais aussi de comparer la prestation de ses IA aux résultats obtenus, sur ces mêmes jeux, par un humain moyen.
Dernière IA à être passée au banc d’essai : l’Agent57, qui est parvenu pour la première fois à dépasser ses prédécesseurs en battant en score l’humain moyen sur Pitfall, Montezuma’s Revenge, Solaris et Skiing. Quatre titres Atari sur lesquels les anciennes IA de DeepMind n’avaient pas su égaler l’humain.
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
Une avancée, mais l’humain conserve un avantage de choix : sa polyvalence
Comme l’explique Engadget, Pitfall et Montezuma’s Revenge forcent l’IA à tenter différentes stratégies pour comprendre comment maximiser son score, tandis que Solaris et Skiing se sont montrés ardus pour l’Agent57, puisque les chances de succès sont moins facilement prévisibles. Concrètement, l’IA ne parvient pas à déterminer facilement quelles actions lui permettent d’obtenir un score élevé et reste par conséquent, et sur de longues périodes, sans savoir si sa stratégie est efficace.
DeepMind a néanmoins développé son Agent57 de manière à ce qu’il soit capable de prendre de meilleurs décisions en termes d’exploration de stratégie et d’exploitation du score, note Engadget. Cette nouvelle mouture de l’IA de DeepMind est en outre plus douée lorsqu’il s’agit d’estimer l’intérêt d’une stratégie à long terme par rapport à une action profitable à court terme seulement.
Dans sa revue Technology Review, le MIT explique néanmoins que si ces résultats sont impressionnants, les IA de DeepMind sont encore loin d’égaler les facultés de l’être humain sur ces 57 jeux Atari. Ces dernières sont en effet très mono-tâche et ne parviennent à être efficace que sur un seul jeu à la fois, tandis que l’être humain est capable, dès l’enfance, de faire preuve d’une bien meilleure polyvalence… et ainsi d’être très doué sur plusieurs titres à la fois.
« La véritable polyvalence, qui vient si facilement à l’esprit d’un enfant, est encore loin d’être à la portée des IA », assure ainsi le MIT. L’humain semble donc avoir encore de beaux jours devant lui… tout du moins sur Atari !
