MarioNETte : l’IA qui permet de manipuler les traits du visage d’un humain

Une équipe de chercheurs d’Hyperconnect, un laboratoire de recherche à Séoul, vient de mettre au point un nouvel outil baptisé MarioNETte. Cette intelligence artificielle est capable de cartographier et de contrôler les mouvements faciaux d’une personne sur n’importe quel visage, de manière extrêmement rapide et précise.

Un outil pour reconstituer et animer les traits du visage

Grâce à des techniques de machine learning de pointe, les chercheurs coréens affirment qu’ils peuvent reconstituer les actions d’un visage tout en préservant son aspect original (comme vous pouvez le voir dans le GIF ci-dessous). Vous l’aurez compris, cette intelligence artificielle pourrait permettre de créer des deepfakes, et ce n’est pas nouveau. Non, la particularité de cet outil est qu’il ne nécessite pas beaucoup d’entraînement contrairement aux autres techniques qui permettent de créer des reconstitutions du visage. Avec MarioNETte, il devient extrêmement simple de manipuler les traits du visage d’un humain. Démonstration :

Crédit : Hyperconnect

Crédit : Hyperconnect

Cette intelligence artificielle fait nettement progresser les techniques actuelles pour créer des animations. Trois nouvelles techniques permettent cela : un bloc d’attention d’image, un alignement des caractéristiques de la cible et un transformateur de repère. Dans le détail, le bloc d’attention permet au modèle de tenir compte des positions pertinentes des éléments physiques répertoriés. Ensuite, l’alignement des caractéristiques atténue la distorsion. Enfin, le transformateur permet d’adapter la géométrie des traits sans avoir besoin de « données étiquetées », contrairement aux approches plus classiques.

MarioNETte : attention aux deepfakes

MarioNETte est un outil très prometteur ! Les chercheurs espèrent encore améliorer le transformateur afin de rendre les reconstitutions plus convaincantes. Ils précisent que : « notre intelligence artificielle n’a pas besoin d’une phase supplémentaire de mise au point pour l’adaptation de l’identité et ce qui la rend très performante. Cela augmente considérablement l’utilité du modèle et les utilisations que nous pourrions en faire ». Concrètement, cette IA pourrait permettre aux vidéastes d’animer facilement des visages sans équipement de suivi du mouvement. Parmi les dérives possibles, nous pensons évidement à la création de deepfakes.

À ce propos, Deeptrace, une start-up d’Amsterdam, réalisait récemment le premier audit sur la question du développement des deepfakes, pour mesurer l’ampleur actuelle du phénomène. Le premier enseignement à retenir est le suivant : la masse de deepfakes s’accroît sensiblement. En sept mois, le nombre de vidéos contrefaites a presque doublé, pour atteindre le nombre (très précis) de 14 678, selon la start-up amstellodamoise.

En parallèle, le risque de fausses vidéos utilisées à des fins électorales suscite un fort intérêt médiatique, cela reste à l’état actuel une menace fantôme. MarioNETte devra prendre en compte ce phénomène dans son développement. Il reste bon de préciser que pour l’instant, les deepfakes sont majoritairement utilisés pour créer des contenus pornographiques. Seules 4% des vidéos publiées le sont dans un cadre politique, et bien souvent humoristique.