LLaMA, le modèle de langage de Meta, a fuité

Alors que l’engouement autour de l’intelligence artificielle (IA) bat son plein, Meta annonçait, il y a deux semaines la sortie de LLaMA, son modèle de langage open source. Celui-ci est avant tout dédié à la recherche et disponible uniquement aux chercheurs qui en font la demande. Pour autant, le 3 mars dernier, l’entièreté du système a fuité sur le forum 4chan, permettant à tout le monde de le télécharger. Cet événement a ouvert le débat, au sein de la communauté scientifique, sur la nécessité de rendre accessible à tous ce type de modèle de langage.

LLaMA en téléchargement gratuit

Il aura fallu seulement une semaine pour que LLaMA soit rendu public de manière illégale. « Le modèle de langage aux 65 milliards de paramètres de Meta vient d’être partagé sur Internet, c’était rapide », a écrit sur Twitter Jeffrey Ladish, chercheur en cybersécurité, au moment des faits. Il conseille de se préparer « à recevoir des tonnes de spams personnalisés et de tentatives d’hameçonnage. Rendre ce modèle open source était une très mauvaise idée ».

Well Meta’s 65 billion parameter language model just got leaked to the public internet, that was fast.

Get ready for loads of personalized spam and phishing attempts. Open sourcing these models was a terrible idea

— Jeffrey Ladish (@JeffLadish) March 4, 2023

Dans son communiqué, Meta précisait que LLaMA était, pour le moment, uniquement réservé aux scientifiques. L’objectif étant de comprendre comment fonctionne l’intelligence artificielle, de travailler pour corriger les risques de biais et de développer des solutions pour empêcher les modèles de langage de créer du contenu dangereux, pouvant blesser des personnes ou des communautés.

Rendre publique une telle technologie, c’est prendre le risque que des utilisateurs mal intentionnés s’en servent pour des pratiques malveillantes. Lors d’un point presse, Joëlle Pineau, directrice générale de la branche IA de Meta, a indiqué que « certains individus ont essayé de contourner le processus d’approbation ». Interrogé par The Verge, Matthew Di Ferrante, chercheur en intelligence artificielle qui a légitimement obtenu un accès à LLaMA, a confirmé que le modèle téléchargeable sur 4chan était celui de Meta.

Le débat de l’open source

La fuite du modèle de langage du géant de la technologie a engendré un débat sur le libre accès aux codes de ces technologies. Deux camps s’opposent. D’un côté, les personnes pour qui il s’agit du seul moyen de tester de manière complète les vulnérabilités de l’intelligence artificielle et de trouver des solutions pour mitiger les risques. De l’autre, les personnes contre, répliquant que les enjeux deviennent de plus en plus importants à mesure que l’IA devient sophistiquée, la rendant plus dangereuse.

Matthew Di Ferrante se montre plus nuancé. Il a expliqué à The Verge que rendre les modèles de langage open source sont « un moyen pour éviter de nous retrouver dans une situation de monopole ». Grâce à cela, des développeurs et chercheurs indépendants, qui ne travaillent pas dans les universités ou des institutions partenaires de Meta, peuvent accéder à ces technologies.

Enfin, si beaucoup dénoncent les risques d’utilisations malveillantes de LLaMA, Stella Biderman, directrice du laboratoire de recherche en IA EleutherAI affirme que « la plupart des gens ne possèdent pas le matériel nécessaire pour faire fonctionner LLaMA dans son entièreté, et encore moins de manières efficaces ». L’argument de la barrière technique poussera peut-être Meta à rendre public son modèle de langage dans les jours à venir.