Les assistants virtuels dopés à l’IA générative, un cauchemar pour la cybersécurité ?

Après l’ère du buzz, voici venue celle de la monétisation. Les géants technologiques qui ont misé des millions sur l’IA générative cherchent désormais à commercialiser des produits leur permettant de rentabiliser leurs investissements.

Fin septembre, OpenAI, Meta et Google ont lancé de nouvelles fonctionnalités pour leurs chatbots respectifs, qui leur permettent de sonder le web en quête d’informations (alors que ChatGPT, par exemple, n’avait auparavant accès qu’aux données sur lesquelles il avait été entraîné, et qui s’arrêtaient à 2021). Ils peuvent également servir d’assistant virtuel personnalisé, une technologie évoquée de longue date dans la Silicon Valley, à laquelle les progrès de l’IA générative ont donné un puissant coup de pouce.

Un assistant universel

OpenAI a ainsi dévoilé une fonctionnalité qui permet de s’adresser au chatbot à l’aide de la voix et obtenir des réponses par canal audio quasiment en temps réel. Microsoft, qui a investi dix milliards dans OpenAI et mise gros sur le chatbot, a déjà en mars dernier annoncé, à travers le lancement de Microsoft Copilot, l’intégration de celui-ci à sa suite Outlook pour qu’il vienne épauler le travailleur, faire des suggestions et automatiser la partie des tâches la plus répétitive. ChatGPT « ressemblera de plus en plus à un col blanc capable de vous aider à accomplir différentes tâches », avait alors déclaré Bill Gates, le fondateur de Microsoft, dans un article de blog, comparant du même coup l’avènement du chatbot à celui du PC. Une vision que l’entrepreneur n’est pas le seul à partager. Google, Meta et Amazon proposent également leurs propres assistants virtuels dopés à l’IA générative.

Un nouveau cauchemar pour la cybersécurité

Peu de personnes doutent du fait que l’IA générative aura des retombées concrètes, au-delà de la vague médiatique déclenchée par ChatGPT, Dall-E et MidJourney : une étude de McKinsey estime par exemple que cette technologie pourrait générer entre 2,6 et 4,4 billions de dollars pour l’économie mondiale. Mais face à l’empressement des géants du web à disséminer dans tous leurs produits une technologie qui en est encore à ses balbutiements, de nombreux experts s’inquiètent des risques, notamment en matière de cybersécurité.

70 % des responsables de la sécurité des systèmes d’information (RSSI) pensent ainsi que l’IA générative va donner plus d’opportunités aux cyberattaquants, d’après un récent rapport de Splunk, une entreprise de logiciel californienne. En France, 52 % des conseils d’administration considèrent que l’intelligence artificielle générative pose déjà un risque sécuritaire pour leur organisation, selon Proofpoint, société américaine de cybersécurité et conformité des données. Une situation que la multiplication des assistants virtuels dopés à l’IA générative pourrait largement empirer, ceux-ci pouvant rapidement se transformer en véritables passoires.

« Les outils tels que ChatGPT constituent une menace lorsque les employés téléchargent des contenus sensibles pour faciliter leur travail : les cybercriminels utilisent cette technologie pour leurs cyberattaques. On a déjà vu ce problème apparaître à travers les traductions automatiques basées sur l’IA », affirme Loïc Guézo, directeur de la stratégie cyber pour l’Europe chez Proofpoint.

Un premier risque est de voir les employés d’une entreprise faire fuiter des données confidentielles en conversant avec ChatGPT ou un autre chatbot. En effet, OpenAI stocke l’intégralité des conversations entre son intelligence artificielle conversationnelle et les utilisateurs. Les ingénieurs chargés d’entraîner et perfectionner l’intelligence artificielle peuvent donc y avoir accès.

« En échangeant avec un chatbot capable de converser de manière naturelle et personnelle, les utilisateurs vont inévitablement partager des informations confidentielles, concernant eux-mêmes ou leur entreprise. Or, il est ensuite possible que les sociétés stockant ces données pour entraîner leurs modèles soient piratées, cela se produit encore de manière beaucoup trop fréquente », explique Hande Guven, analyste chez Recorded Future, entreprise de cybersécurité américaine.

Des solutions existantes permettent toutefois de mitiger ce risque : les plus grosses entreprises peuvent entraîner leur propre modèle d’IA générative, les autres faire tourner un modèle d’IA générative open source sur un cloud privé, ou encore conclure un accord avec Google, OpenAI ou autre pour que les données des employés ne soient pas utilisées par ces entreprises.

Un nouveau type de cyberattaques

Le simple fait que ces assistants virtuels s’appuient sur des données extraites du web les rend également vulnérables à une technique particulière, l’injection de prompt indirecte. Ce terme a été inventé par Kai Greshake, un expert et consultant en cybersécurité allemand qui étudie l’impact de l’IA sur ce domaine. « La pratique peut consister, pour les acteurs malveillants, à envoyer un prompt par email ciblant le chatbot. Lorsque celui-ci est chargé de lire et résumer les mails de l’utilisateur, la lecture de ce prompt va le faire tomber sur la coupe du hacker, et travailler à la place de ce dernier pour chercher à dérober des informations confidentielles à l’utilisateur, comme son numéro de carte, en donnant un prétexte crédible.

Une version plus sophistiquée consiste à modifier un site internet sur lequel l’internaute a l’habitude de se rendre pour y insérer un texte caché visant là encore à prendre le contrôle de l’assistant virtuel », développe l’expert.

Kai Greshake a ainsi dissimulé un prompt dans un site web de sa création, avant de visiter celui-ci en utilisant le navigateur Edge de Microsoft, avec le chatbot Bing intégré. Le prompt a conduit le chatbot à entamer une conversation avec l’utilisateur l’informant d’une (fausse) promotion exceptionnelle sur les ordinateurs de Microsoft et lui demandant son numéro de carte bancaire afin de passer la commande. L’IA générative travaille alors à la place du hacker. « Plus le chatbot est intégré aux applications et aux données de l’utilisateur, plus le risque est élevé, or la stratégie actuelle des vendeurs est de promouvoir une intégration maximale pour débloquer les usages les plus complexes possible », poursuit l’expert, qui affirme que les entreprises concernées n’ont toujours pas résolu ce problème qu’il leur a pourtant signalé.

Un autre type d’attaque possible consiste à empoisonner les données sur lesquelles est entraîné un grand modèle linguistique, afin de parasiter son fonctionnement. Une équipe composée de chercheurs de l’Université ETH Zürich, de Google, de Nvidia et de la jeune pousse Robust Intelligence est ainsi parvenue, en déboursant la modique somme de 60 dollars, à acheter des noms de domaine qu’ils ont ensuite rempli d’images de leur choix, puis à éditer des articles Wikipédia, ce qui a suffi à influencer deux modèles d’IA générative différents. Une faille qui pourrait là encore être facilement exploitée par les hackers.

Fin août, le National Cyber Security Centre britannique, a publié deux articles mettant en garde contre l’usage des chatbots dopés à l’IA générative, particulièrement lorsque ces derniers sont branchés à l’intégralité des données d’une entreprise. « Les organisations qui construisent des services basés sur les grands modèles linguistiques doivent faire preuve de la même prudence que quand utilisent un produit ou du code en version beta », affirme la branche du gouvernement britannique dédiée à la sécurité, ajoutant qu’il est par exemple beaucoup trop tôt pour permettre à de tels services de réaliser des transactions pour le compte d’un humain.

Les données comme nerf de la guerre

Conscientes du risque, plusieurs grandes entreprises, dont Apple, Samsung et la banque JPMorgan, ont préféré interdire l’usage de ChatGPT à leurs employés, soulignant notamment la crainte que ceux-ci, en utilisant cette technologie, ne fassent fuiter des données confidentielles. Une récente étude de BlackBerry montre même que 75 % des entreprises mettent actuellement en œuvre ou envisagent des plans pour interdire ChatGPT et d’autres applications d’IA générative sur leur lieu de travail.

Des outils pour permettre aux développeurs de mettre en place des garde-fous contre les pratiques malveillantes sont également à l’étude. Nvidia, le patron des processeurs graphiques utilisés pour l’intelligence artificielle, a récemment dévoilé un nouvel outil, NeMo Guardrails, qui vise à concéder aux développeurs la capacité d’instaurer des garde-fous limitant ce que les utilisateurs peuvent accomplir avec les grands modèles linguistiques, en empêchant par exemple l’exécution de code malveillant.

Des jeunes pousses comme CalypsoAI commencent également à émerger pour permettre aux entreprises de bénéficier de l’IA générative, avec l’assurance d’éviter les usages malveillants de celle-ci. Sa plateforme offre notamment de surveiller l’usage des grands modèles linguistiques par les employés pour s’assurer que celui-ci soit en accord avec les règles dictées par l’entreprise, ainsi que de repérer et isoler les menaces liées à l’usage de ces modèles. Arthur AI, une autre société, propose pour sa part un pare-feu entre ChatGPT et les grands modèles linguistiques pour bloquer les problèmes potentiels, comme les hallucinations, l’usage de propos offensants ou la fuite de données sensibles.

Le casse-tête de l’IA générative constitue également une opportunité pour les entreprises spécialisées dans la gestion et la surveillance des données dans le cloud, comme Databricks ou Snowflake, qui permettent d’éviter les fuites de données. « Snowflake vous permet de savoir où vont vos données, qui a accès à quoi au sein de l’entreprise, si les données sont envoyées en externe ou non… Pour avoir une stratégie autour de l’IA, il est nécessaire d’avoir avant tout une stratégie autour des données (…). Les entreprises qui se jettent trop vite sur l’IA générative sans planifier leur stratégie autour des données finiront par faire plusieurs pas en arrière pour chaque pas en avant », affirme Denise Persson, directrice générale du marketing de Snowflake.

Pour Nicolas Maillard, responsable Europe du Sud chez Databricks, un usage plus sécurisé de l’IA générative passera aussi par l’usage de modèles propriétaires taillés pour un usage précis. « Il n’est pas certain que toutes les entreprises aient besoin de grands modèles linguistiques (…). Nombre d’entre elles vont se tourner vers des alternatives maison, plus spécialisées », prédisait-il lors d’un récent débat organisé par le Club de la presse informatique B2B.

Une responsabilité juridique en question

Se pose également la question de la responsabilité juridique en cas de faille de l’un de ces super-assistants. « Étant donné le principe de responsabilité individuelle qu’introduit le Code civil, le régime de responsabilité de l’IA va découler du rôle des partis. Il y a donc une casuistique à créer, afin de déterminer le rôle des uns et des autres, et c’est en fonction de celle-ci qu’on pourra mettre en place un régime de responsabilité », expliquait Maître Olivier Iteanu, avocat au barreau de Paris et spécialiste des nouvelles technologies, lors du même événement.

Les régulations adoptées pour protéger la vie privée sur la toile peuvent servir d’inspiration. « Le RGPD a également introduit un principe de responsabilité dérogatoire, avec la possibilité pour chaque partie prenante d’être responsable à 100 % : c’est ce régime qui a été le vrai moteur de la mise en conformité (…). Un tel principe pourrait également s’appliquer à l’IA, à rebours de la petite musique qu’essaient aujourd’hui de faire entendre les Gafam, et qui voudrait que seul l’utilisateur soit responsable. »