L’immense succès de ChatGPT, accessible au grand public depuis novembre 2022, a créé une forte attente pour l’arrivée annoncée de son successeur, GPT-4. OpenAI l’a dévoilé le 14 mars après deux ans de travail. Plus fiable, plus créatif et maniable que la version précédente, GPT-3.5, selon l’entreprise, il a aussi ses limites.

GPT-4 dévoile l’ampleur de ses capacités

Dans la présentation de GPT-4, OpenAI rapporte que son modèle, « bien que moins capable que les humains dans de nombreux scénarios du monde réel, il présente des performances de niveau humain sur diverses références professionnelles et académiques ». L’illustration la plus impressionnante donnée par la start-up est l’examen du barreau américain. En simulant le concours, GPT-4 se classe parmi les 10 % des meilleurs résultats, contre les 10 % les plus faibles pour GPT-3.5.

Dans la même catégorie
graphique sur les résultats GPT-4

GPT-4 ne devrait pas trop subir l'angoisse des résultats du Bac. Graphique : OpenAI

Les performances du modèle, formé sur les supercalculateurs de Microsoft Azure AI, ont été illustrées au travers de trois exemples de fonction. Selon OpenAI il est capable de générer des tâches d’écriture créative, chansons, scénario, et peut aussi traiter des sujets plus complexes en acceptant des instructions d’environ 25 000 mots. Multimodal, il accepte également les images que les utilisateurs pourraient lui soumettre. Il est capable de les légender, analyser… La start-up donne l’exemple d’une photo de divers aliments de base, avec comme simple question les possibilités de recettes à réaliser à partir de ces produits. Il serait enfin capable d’adopter un style particulier, là où son prédécesseur conservait son ton propre.

Dans l’annonce présentant GPT-4 Sam Altman, président d’OpenAI, a surtout insisté sur les limitations du modèle. Une prudence qui transpire à travers la plupart des documents publiés par l’entreprise : non, GPT-4 n’est pas parfait.

OpenAI joue la transparence

Beaucoup de limites de ChatGPT, bien que compensées, améliorées grâce aux nombreux retours des utilisateurs, existent toujours. Comme son prédécesseur, GPT-4 est limité par la fraîcheur des données sur lesquels il a été entraîné. La plupart sont des données publiques, venant d’Internet, une partie est sous licence d’OpenAI, elles sont surtout limitées à septembre 2021.

Par souci de transparence, la start-up admet que GPT-4 présente encore des soucis de préjugés sociaux, des erreurs de raisonnement, des « hallucinations » d’informations ou autre contradiction. Toutefois, selon les évaluations internes, GPT-4 est aussi « 40 % plus susceptibles de répondre factuellement que GPT-3.5 ».

OpenAI rapporte avoir travaillé durant 6 mois pour améliorer la capacité de son modèle à ne pas répondre au contenu non autorisé. Par rapport à son grand frère, il serait « 82 % moins susceptibles » de répondre à des demandes sensibles. Plus d’une cinquantaine d’experts auraient été recrutés pour évaluer les risques que pourrait entraîner le modèle.

Ils sont de divers ordres, le risque de cybersécurité, le risque biologique, les risques de sécurité nationale et internationale. L’entreprise donne notamment un exemple dans le domaine biologique, « nous avons collecté des données supplémentaires pour améliorer la capacité de GPT-4 à refuser les demandes sur la façon de synthétiser des produits chimiques dangereux ». Diverses institutions en Europe ou récemment la Chambre de commerce américaine avaient exprimé leurs craintes sur ces sujets.

GPT-4 sera disponible avec l’abonnement de ChatGPT Plus, à 20 dollars par mois et en API pour les développeurs via une liste d’attente. Son utilisation sera plafonnée. Un plafond amené à évoluer, selon la demande et les divers progrès d’OpenAI. La société prévient « nous nous attendons à être fortement limités en termes de capacité ». Elle espère toutefois pouvoir, à terme, offrir gratuitement des requêtes pour les utilisateurs sans abonnement.