Tandis que ChatGPT fait son petit bonhomme de chemin, plusieurs grands groupes tentent de concurrencer la montée en puissance du chatbot d’OpenAI. C’est le cas de la branche intelligence artificielle de Meta, qui a annoncé le 24 février 2022 la création d’un modèle de langage baptisée LLaMA.

Une IA générative qui sera tout d’abord dédiée à la recherche

Dans un communiqué, Meta AI a présenté son nouveau modèle de langage fondamental. GPT-3 d’OpenAI compte 175 milliards de paramètres, LaMDA de Google en recense 137 milliards pour le modèle le plus avancé, mais Meta a fait le choix de ne se baser que sur 65 milliards de paramètres. « Des modèles plus petits et plus performants tels que LLaMA permettent à d’autres membres de la communauté de recherche qui n’ont pas accès à de grandes quantités d’infrastructures d’étudier ces modèles, démocratisant davantage l’accès dans ce domaine important et en évolution rapide » justifie l’entreprise.

LLaMA sera ouverte uniquement pour les scientifiques, du moins pour l’instant. Elle aura pour vocation d’aider les chercheurs à progresser dans leurs travaux en lien avec l’intelligence artificielle. Le chemin pris par Meta AI diffère de celui emprunté par OpenAI avec son robot conversationnel ChatGPT, basé sur une version améliorée de GPT-3. En s’associant avec Microsoft, OpenAI veut faire en sorte que son outil soit utilisé par le grand public.

La firme de Satya Nadella a travaillé pendant plusieurs semaines pour inclure l’IA générative dans Bing. Après avoir annoncé qu’elle avait dopé son moteur de recherche, Microsoft a dû brider son IA afin qu’elle évite les dérapages. En cause, l’IA se comporterait de manière bizarre lorsque les conversations se rallongent, proposant des réponses n’ayant plus aucun rapport avec le sujet initial. Le géant technologique limite désormais l’utilisation de son outil à 60 sessions de chat quotidiennes et à 6 questions par session.

Dans la même optique, c’est Google qui avait tiré la sonnette d’alarme, sommant à toutes ses équipes de travailler sur un outil similaire à ChatGPT et basé sur LaMDA. Cela a débouché sur l’annonce d’Apprentice Bard, son nouveau chatbot, pour l’instant non disponible. Les chercheurs de Google veulent prendre leur temps de peaufiner leur IA. Lors de la présentation d’une version d’essai de leur robot conversationnel, celui-ci avait donné une réponse inexacte à une question autour du télescope Spatial James Webb.

Meta AI est conscient que son modèle de langage reste perfectible

Pour ce qui est de LLaMA, il fonctionne comme de nombreux modèles de langage. Il prend une séquence de mots comme entrée et tente de prédire le mot suivant afin de générer du texte au fur et à mesure. Afin de former son outil, Meta IA s’est basé sur des textes de 20 langues différentes. Ces langues sont les 20 plus utilisées avec les alphabets latins et cyrilliques.

Les chercheurs à l’origine du modèle de langage sont satisfaits, mais savent que leur outil présente ou présentera des biais à un moment ou un autre, « Il reste encore des recherches à faire pour traiter les risques de biais, de commentaires toxiques et d’hallucinations dans les grands modèles de langage. Comme d’autres modèles, LLaMA partage ces défis ». Afin de surmonter ce challenge, Meta va partager le code de LLaMA à d’autres scientifiques afin qu’ils puissent facilement tester de nouvelles approches limitant ou éliminant ces biais algorithmiques.

En parallèle, Meta AI est confronté à une autre difficulté : si les avancées récentes en matière de modèle de langage permettant la création d’outils performants, le manque de ressources nécessaires à leur formation ou à leur exécution est un frein à leur développement. Plusieurs sous-versions de LLaMA, utilisant peu de ressources par rapport au modèle de base à 65 milliards de paramètres vont être mises au point. Ils pourront être utilisés dans des cas spécifiques traitant d’une thématique particulière ou exploitant seulement une ou deux langues.