OpenAI lance une nouvelle version de son modèle de langage GPT-3

Connu pour être l’un des modèles de langage le plus complet au monde, GPT-3 va connaître plusieurs améliorations. L’entreprise spécialisée dans l’intelligence artificielle, OpenAI, a expliqué le 28 novembre travailler pour actualiser l’une des versions du modèle, InstructGPT. Elle permettait d’améliorer le rendu souhaité par l’utilisateur.

Culture Numérique est disponible sur Spotify – Apple Podcasts – Deezer – Google Podcasts – Acast.

De InstructGPT à text-davinci-003, OpenAI cherche à améliorer GPT-3

GPT-3 est un modèle de langage. Il est principalement utilisé pour entraîner ou faire fonctionner des modèles de machine learning ou de deep learning pour le traitement du langage naturel (NLP). À l’heure actuelle, cet outil est utilisé par plusieurs centaines d’applications, dont Neuron Writer, un outil de référencement SEO ou encore la suite Power Apps de Microsoft. Cette dernière a d’ailleurs facilité l’accès à GPT-3 sur son service cloud Azure.

Depuis sa sortie en juillet 2020, le modèle de langage aux 175 milliards de paramètres a connu plusieurs versions. L’une de ses précédentes versions était InstructGPT, un modèle de compréhension du langage qui apporte plus de précision aux rendus qu’un utilisateur souhaite obtenir en interrogeant l’intelligence artificielle découlant de GPT-3. Afin de satisfaire les développeurs et les chercheurs, OpenAI a décidé de parfaire InstructGPT afin de proposer des rendus plus réalistes, plus affinés, et donc, plus proche de ce que pourrait proposer un être humain.

Baptisée text-davinci-003, cette nouvelle version du modèle de compréhension du langage permettra de gérer des instructions complexes. Une véritable bouffée d’air pour l’un des outils d’OpenAI les plus utilisés actuellement, le générateur d’images DALL-E 2. Les utilisateurs de ce logiciel pourront, grâce à text-davinci-003, générer des rendus beaucoup plus précis qu’avant.

De l’apprentissage par renforcement pour doper GPT-3

Pour mettre au point text-davinci-003, OpenAI a utilisé l’apprentissage par renforcement, une branche du machine learning où l’IA se souvient des erreurs qu’elle a commises pour éviter de les répéter. De la même manière, le modèle se souviendra des bonnes réponses afin de les reprendre si une requête similaire est à nouveau demandée.

Comme son nom l’indique, text-davinci-003 est la troisième version de ce modèle proposé par OpenAI. Sa version précédente, text-davinci-002 ne cherchait pas forcément à rentrer dans les détails, contrairement à la toute nouvelle version mise au point. Dans un communiqué relayé par arstechnica, OpenAI a présenté les différences entre ces deux modèles. Un utilisateur a interrogé une IA utilisant text-davinci-002 en lui posant une question tech très poussée. Celui-ci lui a répondu en quelques lignes en lui proposant trois solutions différentes.

Avec text-davinci-003, l’intelligence artificielle lui a répondu avec beaucoup plus de détails. Il a certes reproposé les trois mêmes solutions que text-davinci-002, mais pour chacune d’entre elles, il a apporté des précisions de plusieurs lignes. L’utilisateur s’est retrouvé avec trois paragraphes différents explicitant les différents usages de ces solutions afin qu’il puisse faire plus facilement son choix sans avoir à faire des recherches plus poussées.

Dans un autre registre, ce nouveau modèle est également meilleur pour rédiger des poèmes ou des paroles de chanson sur demande en fonction des besoins de l’utilisateur. Rimes simples ou riches, thématiques diverses et variées, figures de style, sonnet ou ode, text-davinci-003 ravira sans doute les amoureux de poésie.