GPT-3 : l’IA capable de rédiger un mémoire de fin d’études entre 3 et 20 minutes

Au cours des derniers mois, nous avons beaucoup entendu parler de GPT-3 (pour Generative Pre-trained Transformer 3). Cette intelligence artificielle a été lancée en juin 2020 par OpenAI, une entreprise de recherche sur l’IA co-fondée par Elon Musk. Une récente expérience menée par EduRef prouve que cette intelligence artificielle est capable de rédiger un mémoire de fin d’études « passable » en moins de 20 minutes.

GPT-3 a réussi à faire aussi bien que les étudiants

Souvent critiquée pour ses biais racistes et sexistes, l’IA GPT-3 dérange. Des chercheurs ont même récemment tiré la sonnette d’alarme pour corriger les déviances de cette intelligence artificielle controversée. Lorsque l’IA GPT-3 a été dévoilée par les équipes d’OpenAI en 2020, plusieurs ingénieurs s’inquiétaient déjà de ses usages en interne. Il semblerait qu’ils avaient raison.

Cette intelligence artificielle est incroyablement puissante. GPT-3 est un outil capable de générer du texte grâce au machine learning. Une récente expérimentation vient à nouveau de le confirmer : l’IA a prouvé qu’elle pouvait rédiger un mémoire de fin d’études en moins de 20 minutes, contre trois jours pour un étudiant.

C’est ce qu’a découvert EduRef. Le laboratoire a mené une expérience pour déterminer si une intelligence artificielle pouvait être en mesure d’obtenir des bonnes notes, ou au moins de faire concurrence aux étudiants humains. Ils ont pour ce test choisi le mémoire de fin d’études aux États-Unis.

Pour ne pas orienter le jury dans sa notation, toutes les copies étaient anonymes, y compris celle de GPT-3. Les chercheurs expliquent que : « GPT-3 a eu plusieurs exercices à réaliser, dans divers domaines, notamment sur l’histoire des Etats-Unis, les méthodes de recherche (efficacité du vaccin contre la Covid-19), la création littéraire et le droit ».

L’IA d’OpenAI a encore des progrès à faire, mais elle n’a pas démérité

Des travaux universitaires d’une certaine complexité, il faut l’admettre. L’IA GPT-3 a réussi à obtenir une moyenne de « C » sur les quatre sujets. L’intelligence artificielle a obtenu un « B » en histoire américaine et en droit, un « C » sur l’efficacité du vaccin contre la Covid-19 et un « D » en création littéraire.

Cela correspond à un « passable » sur votre bulletin de note. Le jury a tout de même conclu que l’écriture produite par GPT-3 était « capable d’imiter l’écriture humaine dans les domaines de la grammaire, de la syntaxe et de la fréquence des mots, bien que les documents aient été quelque peu techniques ».

Il reste encore un point sur lequel les machines doivent s’améliorer : la prise de recul et le bon sens. Aussi puissante soit l’intelligence artificielle GPT-3, elle n’a pas encore la capacité à prendre du recul pour comprendre ce qu’elle écrit. Cependant le traitement du langage naturel s’améliore un peu plus chaque année.

Dans la plupart des cas, les textes créés par les IA semblent contextuellement appropriés et passablement organiques. Comme l’expliquent les chercheurs d’EduRef : « même sans intervention humaine, les devoirs de GPT-3 ont reçu plus ou moins les mêmes réactions que les auteurs humains ».

Dans le détail : 49,2% des commentaires sur le travail de GPT-3 concernaient la grammaire et la syntaxe, 26,2% portaient sur des erreurs d’inattention. Si on compare avec les travaux des humains, on arrive à des résultats très proches : 50% des commentaires portaient sur la grammaire et la syntaxe, quand 25,4 % concernaient des erreurs d’inattention. Quoi qu’il en soit, cette expérience marque un tournant pour le traitement du langage naturel.