Meta rend open source son énorme modèle de traitement de langage

Meta a dévoilé au début du mois son nouveau modèle de traitement de langage pour la recherche en intelligence artificielle (IA). Répondant au nom d’Open Pretrained Transformer (OPT-175B), celui-ci sera entièrement open source et pourra être utilisé à des fins non commerciales. Ces modèles peuvent être utilisés pour automatiser des chatbots, traduire des textes, ou même écrire des fiches produit.

Meta s’est inspiré du modèle d’OpenAI

Le modèle partage les mêmes capacités que celui créé par OpenAI, une entreprise cofondée par Elon Musk. Comme GPT-3, il possède 175 milliards de paramètres et est basé sur le machine learning.

Si OPT-175B a été pensé pour autant ressembler à son grand frère, c’est intentionnel. D’après Joelle Pineau, co-directrice générale de Facebook AI Research, le modèle a été conçu afin que le niveau de précision des tâches linguistiques et de sa toxicité corresponde à celui de GPT-3.

L’idée derrière cela ? Rendre son code open source afin de permettre aux chercheurs de tous horizons de contribuer à son développement gratuitement. En effet, OpenAI avait rendu l’accès à son API payant. À cause de cela, seuls les laboratoires les plus fortunés ont pu entreprendre des recherches sur son modèle de traitement de langage.

« Nous croyons que l’entièreté de la communauté de l’IA – les chercheurs académiques, la société civile, les législateurs, et l’industrie – doit pouvoir travailler ensemble pour élaborer des lignes directrices claires autour d’une intelligence artificielle et des modèles de langages volumineux et responsables », a expliqué Meta dans son communiqué.

Rendre la technologie plus transparente

Faire en sorte que la technologie soit de plus en plus transparente a toujours été le cheval de bataille de Joelle Pineau. « Cet engagement en faveur de la science ouverte est la raison pour laquelle je suis [chez Meta]. Je ne serai pas là dans d’autres conditions », a déclaré la chercheuse dans un entretien avec MIT Technology Review.

Meta n’est pas l’entreprise la plus encline à partager ses secrets. Elle n’a que très peu dévoilé le fonctionnement de ses algorithmes et préfère plutôt camoufler ses erreurs. Pourtant Joelle Pineau a réussi à rendre le OPT-175B open source et disponible à des fins non commerciales.

Le groupe a également publié l’entièreté du code du modèle et un cahier de bord servant à documenter le processus d’entraînement de l’intelligence artificielle. Celui-ci contient déjà 3 mois de recherches, d’octobre 2021 à janvier 2022, et répertorie tous les bugs, les crashs et les reboots rencontrés.

Les modèles de traitement de langage naturel sont devenus le prochain Graal de l’intelligence artificielle. Cependant ces derniers contiennent des défauts profonds, notamment la transmission de fausses informations, l’utilisation de biais racistes, sexistes et d’un langage toxique. Ces problèmes sont liés aux textes utilisés par le modèle pour s’entraîner et se développer.

GPT-3 en a fait les frais de nombreuses fois. En octobre 2020, l’entreprise Nabla effectuait des essais avec ce modèle dans le domaine médical lorsque celui-ci a conseillé à un faux patient de mettre fin à ses jours. Rendre le code des modèles de traitement de langage accessible gratuitement dans leur intégralité permettrait donc de corriger plus efficacement ces complications.