On sait depuis longtemps maintenant que Facebook travaille dans le domaine de la réalité virtuelle, comme de la réalité augmentée. Le réseau social vient d’ailleurs de présenter sa dernière création. DeepFovea a été conçue par les ingénieurs de Facebook Reality Labs, dans le but de créer un rendu visuel précis pour l’œil dans les casques de réalité virtuelle, mais aussi une version plus floue pour la vision en périphérie de l’œil. Reste maintenant à comprendre comment cela fonctionne.
Une « vidéo périphérique plausible », l’abandon des détails précis en périphérie de l’œil
DeepFovea est une technique alternative assistée par l’intelligence artificielle qui crée une « vidéo en périphérique plausible » au lieu de plusieurs images périphériques précises. Les ingénieurs de Facebook ont nommé ce processus la « reconstruction fovéale ».
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
Selon eux, cette méthode permettrait d’obtenir une compression de vidéo sans dégradation significative de la qualité qui puisse être perçue par les utilisateurs.
La technique mise au point, lors d’un enregistrement vidéo, va induire que DeepFovea sélectionnera seulement 10% des pixels de chaque image, en se concentrant principalement sur la zone où l’œil humain va s’attarder lui aussi.
La zone en périphérie, quant à elle, est échantillonnée uniquement par quelques points à différents endroits. Des points qui, plus on s’éloigne du champ de vision principal, sont de plus en plus éparpillés. Les détails peu précis seront stabilisés grâce à un GAN qui va s’attacher à reconstruire chaque image à partir des quelques points plus précis que les autres.
DeepFovea : une technologie dont il était déjà question il y a un an
Cette technologie n’est pas une surprise, elle avait déjà été abordée par Michael Abrash, un programmeur et rédacteur technique spécialisé dans l’optimisation de code pour Oculus, qui travaille également avec Facebook, il y a un an. L’homme avait déjà affirmé que dans les cinq années suivantes, un rendu fovéal dit profond serait mis au point en étant basé sur l’apprentissage et un suivi de visuel et qu’il pourrait permettre de créer des casques VR avec une encore plus importante résolution.
Pour illustrer leurs travaux, les ingénieurs ont publié une vidéo. On constate effectivement que la tête du lézard est principalement, mais pas totalement échantillonnée et que cela n’est pas perceptible d’une image à l’autre.
Quels usages pour DeepFovea ?
Aujourd’hui, plutôt que de garder la technique DeepFovea rien que pour eux, les équipes de Facebook qui ont travaillé dessus ont publié une version d’essai de l’architecture du réseau, destinée notamment aux chercheurs, aux ingénieurs en réalité virtuelle et aux ingénieurs graphiques.
La technologie est d’autant plus présentée, en ce moment, au Siggraph Asia 2019 qui a lieu à Brisbane, en Australie. Elle fait suite à DeepFocus qui s’adapte aux images grâce à l’intelligence artificielle.
DeepFovea pourrait, au final, être utilisée plus tard, dans les technologies d’affichage sur les écrans de demain. Pour l’heure, les ingénieurs explorent les moyens d’utiliser le suivi de l’œil dans la réalité augmentée et la réalité virtuelle, et ici DeepFovea se voudra être un outil utile.
