Avec SnapML Snapchat pousse la réalité augmentée avec le machine learning

Ce 11 juin, à l’occasion du Snap Partner Summit 2020, Snapchat a dévoilé plusieurs nouveautés sur l’utilisation de la réalité augmentée. Le Lens Studio va bénéficier d’une mise à jour permettant d’utiliser le machine learning pour créer des filtres toujours plus impressionnants avec SnapML. Les utilisateurs pourront eux, redécorer leurs quartiers avec Local Lenses ou découvrir sur Scan les plantes et arbres autour d’eux.

Snapchat en fait un peu pour les développeurs…

Il s’agit de l’une des nouveautés marquantes de ce Snap Partner Summit 2020. Lens Studio, l’outil de création de filtres, va être enrichi d’une nouvelle fonctionnalité : SnapML. Comme son nom l’indique, SnapML propose aux développeurs d’intégrer leurs propres modèles de machine learning au sein de Lens Studio. De quoi ouvrir en grand le champ des possibles de la réalité augmentée pour les développeurs.

Plusieurs modèles vont être proposés pour suivre de façon plus fine les mouvements du visage ou des mains. Avec l’un des partenaires de Snapchat, Wannaby, un modèle de machine learning pour créer des filtres qui interagissent avec les pieds a déjà été présenté.

… Sans oublier ses utilisateurs

Les « snappchatters » n’ont pas été délaissés. Après Land Makers, qui permettait de redécorer ses monuments favoris, l’option Local Lenses va élargir la perspective à des quartiers entiers. Il sera désormais possible de donner des teintes plus joyeuses à des parties de villes virtualisée à force de peinture, de dessins et de filtre. Cette option peut être partagée avec ses amis, pour se créer son propre monde imaginaire collaboratif.

Plus cosmétique, la partie Scan de Snapchat présente quelques nouveautés. Voice Scan n’est autre qu’une commande vocale créée en partenariat avec SoundHound. Un doigt appuyé sur l’écran de l’appareil photo et vous pourrez lancer « Hey Snapchat, … » pour trouver votre filtre. Autre changement, avec une pression du doigt les filtres les plus pertinents apparaîtront sur votre écran en fonction de ce que l’appareil photo vise. Pour finir, de nouveaux partenariats intéressants ont été annoncés : PlantSnap pour identifier plantes et arbres, Dog Scanner pour connaitre la race du chien que vous avez croisé dans la rue, Yuka pour être sûr de la qualité de vos aliments, etc.

Avec SnapML et Local Lenses Snapchat marchent sur ses deux jambes. Les nouvelles fonctionnalités à venir approfondissent les possibilités de création de la réalité augmentée, à la fois pour les développeurs aguerris et pour les utilisateurs créatifs.