Lors de sa conférence I/O 2023 le 10 mai, Google a dévoilé PaLM 2. Ce nouveau grand modèle de langage (LLM) utilise cinq fois plus de données d’entraînement que son prédécesseur de 2022. Il pourrait rivaliser avec GPT-4, son concurrent direct, pour effectuer des tâches plus avancées de codage, de mathématiques et de rédaction.
Google est de plus en plus opaque sur l’IA
Dans un document technique de 92 pages (pdf), Google a présenté les données d’entraînement, le nombre de langues disponibles ou encore les résultats des requêtes de PaLM 2. Le géant du web ne révèle, cependant, pas le nombre d’informations et sites web utilisés. CNBC s’est procuré un document interne révélant que l’intelligence artificielle (IA) a été entraînée sur 3,6 billions de « jetons », des chaînes de mots permettant au modèle d’apprendre à imiter au maximum la conversation et le discours d’une personne. À titre de comparaison, GPT-3 a été entraîné sur 300 milliards de jetons et PaLM 1 sur 780 milliards d’éléments.
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
Ce type de détail technique était fourni publiquement par les chercheurs de Google pour la version précédente de l’IA, PaLM 1. Cependant, la semaine dernière lors de la publication de leur nouveau modèle, ce type de détails ont été réduits à une portion congrue s’ils n’ont pas disparu. Quelques lignes à l’issue du rapport, dans une annexe seulement. Google a assumé dans son document que « PaLM-2 est un nouveau modèle linguistique de pointe. […] D’autres détails sur la taille et l’architecture du modèle ne sont pas publiés à l’extérieur de l’entreprise ».
Dans la course à l’IA, Google n’est pas le seul à être de moins en moins transparent sur ses systèmes. En avril dernier, OpenAI, créateur de ChatGPT, avait refusé de divulguer le nombre de paramètres de GPT-4. L’entreprise l’avait pourtant fait pour GPT-3. Les paramètres sont des variables influençant le comportement de l’intelligence artificielle. Ils sont souvent utilisés pour se représenter la complexité d’un grand modèle de langage, mais aussi son coût de fonctionnement. Plus une IA comporte un grand nombre de paramètres, plus elle consomme de la ressource informatique pour répondre aux requêtes, et donc de l’énergie, et donc, in fine, de l’argent.
Contrairement à OpenAI, les créateurs de PaLM 2 ont, en revanche, décidé de dévoiler le nombre de ses paramètres. C’est, sans surprise, pour mettre en évidence une performance technique. La nouvelle IA a été entraînée sur 340 milliards de paramètres différents contre 540 milliards pour la première version. Grâce à une nouveauté baptisée « Compute-optimal scaling » (mise à l’échelle optimale), Google affirme être parvenu à optimiser le nombre de paramètres pour gagner en efficacité. La baisse de ces derniers de la version une à deux ne devrait pas infléchir ses performances, mais, en plus, de faire baisser les besoins de ressources informatiques.
