Microsoft et l’Université de Pékin présentent un détecteur de deepfake

Microsoft Research et l’Université de Pékin ont mis au point deux outils différents, mais tout de même liés. Tous les deux se basent sur l’intelligence artificielle, le premier se nomme FaceShifter. C’est un outil qui a pour objectif de transformer un visage, tandis que le second, Face X-Ray, lui, va détecter des deepfakes. Ce dernier peut être considéré comme un outil de lutte contre les images ou vidéos créées à partir de l’intelligence artificielle. En effet, en Chine, diffuser une deepfake est un crime et en créer une fait de l’auteur un criminel.

FaceShifter aurait d’excellents résultats selon Microsoft Research

Les technologies permettant l’échange d’un visage en photo sont de plus en plus fréquentes. Microsoft Research estime cependant que son nouvel outil a de meilleures performances que les approches précédentes. De plus, il nécessite bien moins de données pour fonctionner. FaceShifter va permettre de remplacer une personne par une autre, en maintenant sa posture, son expression du visage ainsi que tous les éléments de l’arrière plan : l’éclairage, la couleur, l’intensité…

Pour assurer le remplacement du visage, FaceShifter a recours à un GAN, un réseau contradictoire génératif. Celui-ci est en fait un modèle d’intelligence artificielle qui va tenter de tromper un discriminateur en considérant des échantillons artificiels comme des échantillons issus du monde réel.

Crédits : Microsoft Research

Dans les tests réalisés par les équipes de Microsoft, FaceShifter aurait fait preuve d’efficacité, en conservant les formes des visages dont il lui a été ordonné l’échange, mais il aurait également maintenu le bon éclairage et la résolution d’images des personnes. Par ailleurs, cet outil n’aurait pas besoin d’avoir de connaissance en terme de manipulation, ni même de supervision ou de surveillance de la part d’un humain.

FaceShifter créé une image avec plusieurs niveaux de gris qui indiquent si une autre image, originales cette fois, peut être décomposée en un mix de deux images issues de sources différentes. Selon les chercheurs, si cela est possible c’est grâce aux méthodes de manipulation de visages qui partagent une étape commune dans la fusion des visages modifiés dans les images d’arrières plan existantes. Ceci, car chaque image comporte ses propres caractéristiques induites. Soit par le matériel qui a permis la prise de l’image, soit par l’aspect logiciel, comme par exemple un algorithme de compression et de synthèse : ces éléments ne se traduisent pas de la même façon dans une représentation.

Face X-Ray pourrait devenir un outil indispensable en Chine

De son côté, l’outil mis au point par des chercheurs de l’Université de Pékin a réussit à démasquer des images falsifiées, et à indiquer de façon fiable la zone modifiée. Cependant, face à une image totalement synthétique, qui ne résulterait donc pas de la fusion, ou de l’échange de plusieurs image, Face X-Ray deviendrait inutile. En effet, il ne serait plus en mesure de détecter le vrai du faux et vice-versa.

Face X-Ray a été mis au point à partir de FaceForensics ++. Il s’agit d’un corpus vidéo qui contient plus de 1 000 contenus manipulés grâce à quatre techniques de modification de pointe, ainsi que d’autres vidéos construites à partir d’images réelles.

Finalement, Face X-Ray pourrait être utilisé comme un véritable outil par les forces de l’ordre en Chine, dans la mesure où il permet de lutter contre les deepfakes. Avec des recherches complémentaires, l’outil pourrait également constituer une simple étape dans la création d’un détecteur plus général d’images de visages contrefaits.