Il existe des chatbots de deux types, les chatbots dits fermés, c’est-à-dire avec une mission précise à exécuter et un nombre de possibilités de réponses prévues en ce sens, c’est par exemple le cas de OUIbot, le chatbot de la SNCF. Dans une étude publiée le 27 janvier, Google a présenté Meena, un chatbot ouvert, censé être capable de parler de tout et rien.
Un réseau neuronal de 2,6 milliards de paramètres
Meena n’est pas encore Samantha, le système d’exploitation dont tombe amoureux Joaquin Phoenix dans Her, mais l’ambition des chercheurs à l’origine de l’IA s’en approche. Leur objectif est de créer un chatbot capable de discuter le plus naturellement du monde avec un être humain.
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
Pour parvenir à ce résultat, les chercheurs de Google ont utilisé un modèle seq2seq, c’est-à-dire un réseau de neurones récurrent qui convertit des informations données à une IA en d’autres types d’informations à la sortie. L’architecture de Meena est une variante d’Evolved Transformer, lancé par Google en 2017 et particulièrement répandu.
Meena est un réseau neuronal de 2,6 milliards de paramètres ayant acquis 40 milliards de mots. Pour avoir un ordre de grandeur l’Oxford English Dictionary recense en anglais, l’une des langues les plus riches du monde 200 000 mots.
Avec toutes ces caractéristiques, Google se vante logiquement d’avoir développé la meilleure IA conversationnelle qui existe, un chatbot capable d’assumer des conversations multitours et même de blaguer.
Pour évaluer Meena, Google a inventé son outil de mesure
Pour prouver ce qu’ils avancent, les chercheurs de Google ont mesuré la capacité conversationnelle de leur IA avec l’unité de mesure Sensibleness and Specificity Average (SSA). Un outil développé par les chercheurs eux-mêmes, on n’est jamais mieux servi que par soi-même.
Le SSA contourne certains défauts de la référence absolue, le test de Turing. Pour rappel test de Turing, consiste à évaluer l’intelligence d’un ordinateur en confrontant une personne à une discussion en aveugle à un autre humain et un ordinateur. Le but est de déterminer qui est qui.
Le test, encore utilisé pour des concours tels que le prix Loebner, est insuffisant selon les créateurs du SSA et Meena, « Ils [les IA conversationnelles] parviennent à ne pas générer de charabia ou à se contredire, mais au prix de ne rien dire de substantiel ».
Pour contourner ce travers, le SSA mesure à la fois le sens, évident pour 97% des humains et la spécificité des réponses. Les chatbots répondent surtout des excuses générales lorsque l’on sort de leurs domaines, par exemple OUIBot de la SNCF répondra presque systématiquement « Aïe… Ce n’est pas encore dans mes cordes 😕. Mais mes collègues humains peuvent vous aider ». Une telle réponse générique sera sanctionnée, tandis qu’une réponse changeante, originale sera récompensée.
Une discussion avec Meena. Image : Google
SSA évalue les conversations de 14 tours minimum et de 28 tours maximums. Les résultats sur la fluidité de la discussion ressortent sous la forme de pourcentage. Les conversations humaines atteignent 86% sur le SSA, sans doute les banalités des discussions sur la pluie et le beau temps, Meena est parvenue à atteindre 79%. Mitsuku, une IA de Pandora Bots qui a remporté ces quatre dernières années le prix Loebner atteint 56%.
IA conversationnel, une course effrénée
Google est loin d’être le seul sur le créneau des IA conversationnelles, Facebook a fondé un laboratoire qui lui est entièrement dédié. Microsoft, lui, a acquis en 2018 la société Semantic Machines et a présenté ses premiers résultats au Microsoft Bot Framework. Enfin, Amazon a inventé le prix Alexa à destination des apprentis développeurs, pour tester la capacité d’IA à tenir une discussion pouvant aller jusqu’à 20 minutes.
Il est encore un peu tôt pour savoir quelle entreprise va s’imposer dans le domaine des IA ouvertes, Meena de Google semble tout de même en bonne voie. Tout aussi intéressant dans le travail des chercheurs, le développement d’un nouvel outil de mesure, le SSA. Encore une fois difficile de préjuger de l’avenir, mais si la communauté des chercheurs confirme son intérêt et s’en emparent, le SSA pourrait remplacer le test de Turing qui fête cette année ses 70 ans.