La division IA de Google invente une nouvelle technique de reconnaissance gestuelle

Grâce à l’intelligence artificielle, des scientifiques de Google ont mis au point une nouvelle technique de reconnaisse des formes. Lors de leurs expériences, les scientifiques ont réussi à détecter 21 points 3D sur une main, à partir d’une seule image. Cette nouvelle technique a été présentée en juin dernier lors d’une conférence organisée par Google.

Une aubaine pour la réalité augmentée

Les capteurs de forme et de mouvement sont des outils indispensables pour améliorer les technologies de contrôle gestuel et aller encore plus loin dans des expériences de réalité augmentée. Les capteurs habituels sont souvent gênés par l’absence de modèles de contraste, ce qui les empêche de fonctionner de façon fiable. Voilà un défi qui a su motiver les équipes de Google à étudier une nouvelle approche.

Valentin Bazarevsky et Fan Zhang, deux chercheurs faisant partie de l’équipe de recherche de la société américaine, ont écrit que : « la capacité de percevoir la forme et le mouvement des mains peut être un élément essentiel pour améliorer l’expérience de l’utilisateur dans une variété de domaines technologiques. Nous espérons que le fait d’offrir cette fonctionnalité de perception de la main à l’ensemble de la communauté de la recherche et du développement entraînera l’émergence de cas d’utilisation créative, stimulant de nouvelles applications et de nouveaux domaines de recherche ».

Trois modèles d’IA fonctionnent ensemble

L’approche en question comprend trois modèles différents d’intelligence artificielle qui fonctionnent ensemble : un détecteur de paume, qui analyse un cadre et renvoie une boîte de délimitation de main ; un modèle de repère de main qui analyse la région d’image recadrée définie par le détecteur de paume et renvoie des points de main 3D, et un détecteur de gestes qui classe la configuration des points précédemment calculés dans un ensemble de gestes.

Contrairement à ce que l’on pourrait penser; reconnaître une main n’est pas une tâche si facile, même pour une intelligence artificielle. L’outil doit faire face à un manque de données. Une fois la paume détectée, le modèle se focalise sur 21 points 3D. Dans un futur proche, les scientifiques augmenteront le nombre de gestes que leurs capteurs peuvent détecter de manière fiable.