Au travers de trois documents, DeepMind a dévoilé le 8 décembre deux nouveaux modèles de langages basés sur l’IA, Gopher et RETRO. Jusqu’à présent, l’entreprise installée à Londres, rattaché à Alphabet, était surtout reconnue pour avoir vaincu les plus grands champions du jeu de Go ou pour AlphaFold, capable de déterminer la structure d’une protéine selon son séquençage génétique.
Les modèles de langage ont-ils atteint un palier ? Non selon DeepMind
Avec Gopher et RETRO, DeepMind entre de plain-pied sur le terrain des « grands modèles de langage » où s’illustre déjà OpenAI, avec GPT-3 notamment utilisé pour simuler le jeu textuel AIDungeon ou Microsoft et Nvidia avec leur surpuissant Megatron.
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
DeepMind s’est focalisée autour d’une problématique : les modèles de langage ont-ils atteint leur limite de développement ? La puissance de calcul et des données supplémentaires peuvent-elles suffirent à améliorer le raisonnement logique des IA ? Manifestement, la filiale d’Alphabet assure que c’est le cas.
Par simplification les capacités des modèles de langages sont évaluées avec le nombre de paramètres avec lesquels elles sont configurées. Plus ils sont nombreux, plus l’IA est grande et complexe, plus elle peut apprendre et s’adapter.
Gopher et ses quelque 280 milliards de paramètres ont été utilisés pour vérifier cette affirmation : plus une IA est grande, mieux c’est. À titre de comparaison GPT-3 d’OpenAI a 175 milliards de paramètres et est déjà jugée performant. L’IA expérimentale Megatron, elle, atteint 530 milliards de paramètres.
Pour confirmer ou informer qu’un nombre de paramètres supérieur suffit encore à rendre une IA plus performante, Gopher a été évalué avec d’autres modèles sur 152 tâches linguistiques. Il en est ressorti que le système de DeepMind avait réussi à remplir ces tâches avec 80% de réussites. Plus intéressant, en moyenne, les plus grands modèles obtiennent de meilleurs résultats.
Jack Rae, chercheur pour DeepMind, a expliqué dans une conférence de presse relayée par The Verge que « l’une des principales conclusions de l’article est que les progrès et les capacités des grands modèles de langage continuent d’augmenter. Ce n’est pas un domaine qui a atteint un plateau ».
Contourner le problème de la puissance de calcul
Une bonne nouvelle, mais les grandes IA présentent un problème, celui de la puissance de calcul nécessaire pour les faire fonctionner. Avec RETRO DeepMind a tenté un pas de côté. Le modèle dispose de « seulement » 7 milliards de paramètres, mais est adossé à une base de données de 2 000 milliards d’extraits de textes. L’IA externalise ainsi une partie de ses capacités en identifiant des morceaux de sa base de données correspondant au texte en cours d’écriture pour se soulager.
L’idée n’est pas neuve, mais n’avait jamais été testée à cette échelle avec des résultats aussi probants. Selon DeepMind, RETRO parvient à des performances égales à Gopher dans un certain nombre de tâches et pourrait battre des systèmes 25 fois plus importants que lui.
À quand la fin des biais algorithmiques racistes ?
Une entrée en matière dans le domaine des modèles de langages plus qu’encourageants pour DeepMind. L’entreprise admet cependant n’avoir pas réussi à régler tous les défauts de ces IA et notamment les plus graves, la perpétuation de stéréotypes sexistes, racistes, la diffusion de fausses informations.
Jack Rae l’admet, « personne chez DeepMind ne pense que l’échelle sera la solution ». Plusieurs pistes sont ouvertes, l’intervention humaine pour des routines d’entraînement supplémentaires. Le fonctionnement de RETRO pourrait aider. Il est plus simple d’identifier et corriger les biais dans une base de données que dans un réseau de neurones. Une hypothèse qui n’a pas été testée par DeepMind.
Autre problématique, tant sur les biais des IA que sur leur puissance, les résultats des tests exposés par DeepMind ont été obtenus dans des conditions particulières, en laboratoire. Une fois confrontés au monde et aux interlocuteurs réels, les modèles peuvent avoir des réactions inattendues. Pour le constater, il faudra que DeepMind confronte ses IA à cette réalité complexe.
