Inception : une équipe de Google reprogramme un réseau de neurones

Et si l’on arrivait à biaiser une intelligence artificielle afin qu’elle fasse le contraire de ce pour quoi elle est programmée, ou une tâche totalement différente ? Les algorithmes de computer vision ne sont pas toujours parfaits, ils peuvent se tromper, on peut les faire halluciner, ou même les reprogrammer.

Une équipe de Google Brain, succursale de la firme de Mountain View dédiée à la recherche sur l’intelligence artificielle s’est penchée sur la reprogrammation des réseaux de neurones. Dans un article détaillant leur projet, les chercheurs décrivent une méthode permettant de reprogrammer un système de machine learning. Leur papier est d’ailleurs appelé Adversarial Reprogramming of Neural Network, ou Reprogrammation Antagoniste de Réseau de Neurones en français.

Le terme antagoniste est utilisé en intelligence artificielle pour définir une forme d’apprentissage qui n’est pas supervisé. Il oppose souvent deux machines. L’une produit une image la plus réaliste possible, l’autre tente de déterminer si elle est produite par un programme ou non.

Leur solution a été en mesure de forcer un programme à compter des carrés sur des images, ou encore de classer des chiffres, loin des tâches habituelles qui lui sont demandées. « Nos résultats [démontrent] pour la première fois la possibilité d’attaques antagonistes qui visent à reprogrammer les réseaux neuronaux, » ont écrit les chercheurs. « Ces résultats démontrent à la fois une flexibilité surprenante et une vulnérabilité surprenante dans les réseaux neuronaux profonds. »

Comment tout cela fonctionne ? Si l’on veut vulgariser cela le plus possible, on peut dire que les chercheurs ont agi comme dans le film Inception. Une personne malintentionnée réussit à avoir accès à un réseau de neurones antagoniste. Il modifie alors un paramètre, ce qui entraîne des perturbations appelées « données antagonistes ». Elles ont pour effet de modifier la façon dont des images sont générées. Ensuite, puisqu’elles nourrissent l’autogestion des réseaux de neurones, ces derniers poursuivent leur apprentissage avec une mauvaise donnée, réutilisée plusieurs fois, ce qui changera par la suite la tâche initiale de l’IA. Comme dans Inception, vous glissez une idée à un niveau assez profond du fonctionnement d’un cerveau. Petit à petit, cette idée se change en certitude, puis en action.

Les scientifiques ont mis en place leur méthode sur six modèles différents. À chaque fois ils ont fait mouche. Ainsi, un programme a par exemple compté les carrés sur une photo, plutôt que définir s’il y avait un requin ou une autruche sur la photo.

Des personnes malintentionnées pourraient utiliser cette technique pour hacker des ordinateurs ou d’autres appareils. « Les programmes antagonistes pourraient également être utilisés comme un nouveau moyen de réaliser des piratages informatiques plus traditionnels, » ont écrit les chercheurs. « Par exemple, comme les téléphones agissent de plus en plus comme des assistants numériques pilotés par l’IA, la plausibilité de reprogrammer le téléphone d’une personne en l’exposant à une image ou à un fichier audio antagoniste augmente. Comme ces assistants numériques ont accès au courrier électronique, au calendrier, aux comptes de médias sociaux et aux cartes de crédit d’un utilisateur, les conséquences de ce type d’attaque s’amplifient également. »

Cela ne doit pas remettre en cause toute la protection des IA. Les chercheurs ont remarqué que les réseaux de neurones classiques étaient moins vulnérables. Néanmoins cela, permettra d’alerter sur le fait qu’on pourrait changer le rôle d’une IA autre que sur du computer vision, et lui faire réaliser des tâches avec des conséquences pires que compter des carrés.