Les équipes Intelligence artificielle de Facebook, devenu Meta, ont présenté le 1er novembre ReSkin, une seconde peau en plastique déformant capable de capter les contacts. Elle a été développée en partenariat avec des scientifiques de Carnegie Mellon.
Le métavers en tête
Mark Zuckerberg et les chercheurs travaillant sur le projet y voient une étape importante pour le métavers de Facebook. Abhinav Gupta, l’un des scientifiques de l’équipe, a expliqué « Lorsque vous portez un casque Meta, vous voulez également que certaines haptiques soient fournies afin que les utilisateurs puissent ressentir des expériences encore plus riches ». Pour Zuckerberg il n’y a pas de doute, « Cela nous rapproche d’objets virtuels réalistes et d’interactions physiques dans le métavers ».
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
Le toucher a longtemps été laissé de côté par les chercheurs en IA contrairement à la vue ou au son. Beaucoup d’informations à recueillir, un objet est plus ou moins lourd, dur, stable, difficile à obtenir en forme de données fiables. Le prix est également problématique avec des capteurs trop chers ou trop fragiles.
Comment ça marche ?
ReSkin promet de remédier à cela grâce aux progrès de l’apprentissage automatique et de la détection magnétique. Son principe ? Être fabriqué avec un matériau de moins de 3 millimètres avec des particules magnétiques.
Lorsqu’une touche s’opère, le champ de particules intégrées est mis en mouvement, un capteur enregistre cette variation et l’envoi directement jusqu’à un logiciel. Ce logiciel, une IA, va traiter les données pour estimer la force du contact et l’endroit.
L’IA a été entraînée par une centaine de touchers humains pour acquérir une base suffisante afin d’interpréter les variations du champ magnétique. Au total, ReSkin peut être utilisé pour près de 50 000 interactions. Bonus important, ReSkin coûte moins de 6 dollars l’unité pour une production de cent exemplaires, tarif susceptible de baisser en cas de commande plus massive.
Facebook a fait plusieurs démonstrations de l’efficacité de son système. L’un d’eux consiste à saisir un objet délicat, en l’occurrence une myrtille ou du raisin, avec un robot, sans le détruire. ReSkin a également été utilisé pour « mesurer les forces lors des interactions naturelles entre l’homme et l’objet », en l’occurrence sur un gant d’une main humaine en train de préparer un Bao.
L’une des démonstrations de Facebook sur le fonctionnement de ReSkin. Crédit : Meta
Une performance technologique encore à confirmer
Les scientifiques en IA de Meta estiment que leur système est déjà au point et que des chercheurs tiers pourront s’en emparer pour différentes applications. Ils considèrent que « ces avancées devraient rendre la perception tactile beaucoup plus accessible et attrayante ». Ils croient fermement que « les capacités de détection de l’IA iront au-delà de ses compétences actuelles en matière de vision et de son ».
Un seul bémol, relevé par CNBC, à l’heure actuelle ReSkin n’a pas été étudié par des tiers. Cela devrait être réalisé d’ici la fin du mois de novembre, une publication dans une revue scientifique est en préparation.
