On estime qu’il y a aujourd’hui 285 millions de personnes à travers le monde qui souffrent de déficiences visuelles ; parmi elles, 39 millions sont aveugles. C’est dans l’objectif de faciliter leur quotidien que Microsoft a développé un appareil basé sur le casque de réalité augmentée HoloLens. Celui-ci permet aux personnes malvoyantes ou aveugles de mieux appréhender le monde qui les entoure. Une technologie inspirante née dans le cadre du projet Tokyo.

Un prototype né grâce au projet Tokyo de Microsoft

En 2016, Microsoft lance le projet Tokyo. L’objectif ? Se servir des nouvelles technologies et plus particulièrement de l’intelligence artificielle pour aider les personnes handicapées dans leur quotidien. Pour cela, le géant américain a réuni des chercheurs venant des États-Unis, du Royaume-Uni, de la Chine, du Japon et de l’Inde. Quatre ans plus tard, ce projet commence à porter ses fruits grâce à une version modifiée du casque de réalité augmentée HoloLens de Microsoft. En y ajoutant de l’intelligence artificielle, les chercheurs ont réussi à en faire un objet qui fournit des informations précieuses aux personnes en situation d’handicap visuel.

Sur son blog, Microsoft explique que l’équipe de chercheurs a commencé son travail en se rendant aux Jeux paralympiques afin d’observer les athlètes souffrant de déficience visuelle. Ils ont ensuite poursuivi en assistant à des ateliers avec des personnes aveugles et malvoyantes. L’objectif des chercheurs était alors d’identifier les principales difficultés que le handicap visuel pouvait présenter dans des contextes sociaux.

Les chercheurs ont ainsi pu constater que les enfants malvoyants pouvaient présenter des comportements antisociaux. Le fait est que la vue est extrêmement importante pour comprendre et appréhender les interactions sociales. Sans ce sens, les relations sociales des enfants malvoyants peuvent être inhibées et ils peuvent avoir, de ce fait, tendance à se renfermer sur eux-mêmes. C’est donc pour pallier ce problème qu’est née cette nouvelle technologie créée par les chercheurs du projet Tokyo de Microsoft.

Comment fonctionne cette technologie ?

Le prototype créé par les chercheurs du projet Tokyo consiste en un appareil d’imagerie très sophistiqué qui est capable d’identifier des objets et des personnes. Cette technologie, qui se porte sur la tête à la façon d’un bandeau, se base sur le casque de réalité augmentée HoloLens (dont la lentille a été retirée) et sur l’intelligence artificielle. Grâce à ses caméras intégrées et à l’IA, l’appareil est en mesure de détecter les personnes qui se trouvent dans une pièce (et de les identifier si elles ont préalablement été renseignées dans l’algorithme), à quelle distance elles se trouvent de l’utilisateur, leur position, etc. Autant d’informations qui sont ensuite traduites et envoyées sous forme sonore aux utilisateurs du casque.

Par exemple, lorsqu’une personne est détectée à un mètre sur la droite de l’utilisateur, le casque va émettre un « clic » qui semble provenir de cet endroit. Si le visage de la personne a été identifié, un second son est émis et le nom de la personne est annoncé dans le casque. Si le visage ne peut pas être filmé correctement par la caméra de l’HoloLens, c’est un nouveau son, cette fois plus étendu, qui se manifeste. Il invite l’utilisateur à se repositionner face à son interlocuteur. Une fois que l’utilisateur est correctement placé, un « clic » conclut l’action.

La technologie au service des personnes malvoyantes

Les chercheurs de Microsoft espèrent que ces fonctionnalités aideront les personnes malvoyantes, et plus particulièrement les enfants, à s’ouvrir au monde et à mieux appréhender leurs interactions sociales. Il reste bien évidemment une grande marge de progression pour cette technologie, mais ses débuts semblent extrêmement prometteurs. Rendre le quotidien des personnes malvoyantes plus facile semble être une mission importante pour le géant américain. En effet, Microsoft a également lancé Seeing AI, une application pour les aveugles qui a récemment été traduite dans 5 langues supplémentaires.

Toutefois, Microsoft n’est pas la seule entreprise à se soucier de créer des outils innovants pour aider les malvoyants. Google Maps par exemple, a intégré un “guidage vocal détaillé” pour faciliter les déplacements des malvoyants et aveugles. Alibaba, de son côté, a créé une technologie pour aider les personnes aveugles à faire leur shopping. Enfin, en 2018, des chercheurs de Caltech ont développé un assistant en réalité augmentée cognitive qui s’utilise, lui aussi, avec les casques HoloLens de Microsoft, pour aider les aveugles à se déplacer. Autant d’exemples qui nous prouvent que la technologie a incontestablement un rôle important à jouer dans l’amélioration de la vie quotidienne des personnes malvoyantes ou aveugles.