Imaginer votre main s’agiter devant la caméra de votre iPhone.
Cette appli la transforme en un lapin marionnette qui s’exprime en fonction de la façon dont vous bougez les doigts.

Voici une application nouvelle et saisissante de réalité augmentée (AR), bientôt disponible sur votre iphone.

Hart Woolery a diffusé cette courte vidéo sur son compte Twitter pour montrer comment il arrive à transformer sa main en marionnette 3D. Celle-ci suit les mouvements de la main du marionnettiste, elle ouvre même la bouche. Il ne lui manque que la voix synthétique pour transformer la scène en un remake de Tatayé et vous laisser entrevoir le numéro de comique ventriloque que vous pourrez réaliser bientôt, une fois que cette application sera disponible avec toutes ses options.

Un buzz immédiat

Le buzz a évidemment été immédiat, même si l’application est toujours en développement.
Cette annonce est une nouvelle preuve qu’Apple a vu juste en pariant sur la réalité augmentée pour tenter de dominer le marché des applications, au profit de son iPhone.

01.net expliquait en juin dernier, comment celle-ci était devenue un argument central dans le discours de la firme de Cupertino. En mettant à disposition des développeurs son ensemble ARKit, spécifiquement destiné à créer des applications en réalité augmentée, l’entreprise a marqué des points contre Google.

Le format USD

Apple avait ainsi mis en avant la « persistance », permettant ensuite à différents utilisateurs et différents périphériques de partager l’emplacement d’objets virtuels dans des lieux réels. La possibilité de recréer des fièvres dignes de la chasse aux pokémons s’ouvrait ainsi à tout développeur amateur. Mais Apple avait également dopé, dans cette suite d’outils, la détection et le suivi d’objets.

Exactement ce dont s’est servi Hart Woolery pour son projet.

Apple avait notamment mis à disposition de ses développeurs un format de fichier destiné à l’édition et l’échange d’objets 3D. Apple étant lié à Pixar, les équipes des deux entreprises ont travaillé ensemble sur cet Universal Scene Description dont l’objectif est de générer, stocker et transmettre une grande quantité de données 3D tout au long de la chaîne de la production graphique.

Rien de mieux pour intégrer du dessin animé ou de la 3D de jeu vidéo dans la réalité de tous les jours.

Core ML pour le machine learning

Hart Woolery a néanmoins eu besoin de plus que cela. Il se sert également de Core ML, un ensemble d’outils destinés à l’apprentissage-machine.

L’intérêt de ce dernier outil est de réduire la consommation de mémoire et de puissance électrique. Cet outil permet en outre d’intégrer des trained models (modèles entraînés) dans les applications. Un trained model est le résultat de l’application d’un algorithme d’apprentissage à un ensemble de données d’apprentissage.
Autrement dit, Hart Woolery intègre dans son application tout ce que ses algorithmes ont appris de l’art de bouger les doigts et de commander des objets graphiques animés.

Autrement dit, l’analyse du mouvement des mains par la machine s’affine avec l’expérience. Un peu comme pour un marionnettiste finalement.