Plus de deux ans après le lancement du modèle de langage GPT-3, OpenAI envisage de lancer à moyen terme, son successeur GPT-4. Entretemps, la société spécialisée dans l’intelligence artificielle a développé une série d’applications d’IA, dont un chatbot, basée sur GPT-3.5, une version améliorée de GPT-3.


Culture Numérique est disponible sur Spotify – Apple Podcasts – Deezer – Google Podcasts – Acast.

text-davinci-003, ChatGPT : ces outils sont basés sur GPT-3.5 d’OpenAI

À la fin du mois de novembre, OpenAI a annoncé le lancement d’une nouvelle version du modèle de langage GPT-3 baptisée text-davinci-003. Cet outil permet de gérer des instructions plus complexes et générer des rendus beaucoup plus précis qu’auparavant. Le 1er décembre 2022, dans le cadre d’une démonstration publique, OpenAI a présenté les fonctionnalités qu’offraient son dernier outil, le chatbot ChatGPT.

Celui-ci a la particularité d’aborder une immense liste de sujets, y compris des thématiques plus techniques comme des concepts scientifiques complexes. Contrairement à GPT-3 qui peut prédire quel texte suit une chaîne de mot fourni par une personne, ChatGPT essaie de répondre aux requêtes des utilisateurs de telle façon à ce que sa réponse se rapproche de celle qu’aurait pu formuler un être humain. Le chatbot répond aux questions, et peut même admettre ses erreurs si un utilisateur lui prouve qu’il a tort. Grâce à l’apprentissage par renforcement, celui-ci se souviendra qu’il s’est trompé et évitera de répéter l’erreur.

Le point commun entre text-davinci-003 et ChatGPT ? Les deux exploitent le même modèle de langage récemment mis au point par OpenAI, se voulant supérieur à GPT-3.

GPT-3.5 avant l’arrivée d’un GPT-4 plus performant en 2023 ?

GPT-3.5, comme son nom l’indique, fait figure d’intermédiaire entre GPT-3 et le futur GPT-4. Il a été formé à l’aide d’un code qui a été mis au point il y a plus d’un an. Le modèle a appris les divers sens des mots, afin de pouvoir les lier les uns avec les autres et former des phrases cohérentes tout en évitant les biais discriminatoires. Comme GPT-3, il a été entraîné à l’aide plusieurs centaines de milliers de pages web : articles Wikipédia, publications sur les réseaux sociaux, articles de presse, article de blog, etc.

Pour OpenAI, GPT-3.5 est une passerelle pour la création de GPT-4. La firme ne cherche pas forcément à construire un modèle avec un nombre conséquent de paramètres afin de surpasser des réseaux neuronaux comme ceux utilisés pour Gopher (280 milliards de paramètres) ou le modèle chinois PanGu-Alpha (200 milliards).

Son objectif sera de proposer en 2023 un modèle de langage capable d’effectuer des recherches plus précises grâce à un procédé d’analyse de données plus poussé et faire en sorte que la génération de texte soit tout aussi crédible que celle proposée par les meilleurs écrivains. Enfin, OpenAI travaillera sur une meilleure compréhension contextuelle afin de conserver une cohérence tout au long du dialogue avec un chatbot par exemple.