CSAIL : une IA capable de créer une vidéo à partir de séquences d’ombres

Après avoir développé une IA qui comprend intuitivement les lois de la physique, une équipe de chercheurs du CSAIL, (le laboratoire spécialisé dans l’intelligence artificielle du MIT) a mis au point une IA capable de se servir uniquement du mouvement des ombres, pour recréer une scène.

Prédire les déplacements de la lumière

Comme vous pouvez le voir dans cette vidéo, l’équipe a filmé plusieurs scènes en mouvement. L’algorithme imaginé par les chercheurs du CSAIL est capable de prédire la façon dont la lumière est censée se déplacer dans une scène donnée. En observant une scène sur laquelle le mouvement des ombres s’est reporté, l’algorithme est capable d’imaginer ce qu’il s’est passé et donc de reconstituer une vidéo. Comme vous pouvez le constater, les résultats sont encore flous et approximatifs mais l’idée est là.

Il y a des progrès notables par rapport aux travaux préliminaires publiés en 2018. À l’époque, le système d’intelligence artificielle était limité par la quantité de lumière dans les scènes et uniquement déclenché par des changements d’éclairage. La technique actuelle semble plus robuste, selon l’équipe de recherche. L’algorithme interprète la manière dont les ombres se déplacent pour prédire les mouvements de la lumière et donc la position des objets ou des humains dans une pièce.

De nombreuses applications possibles dans le monde réel

Pour le moment, ils en sont « seulement » au stade de reconstituer une vidéo qui donne une idée générale de ce qui se passe dans les mouvements cachés. Impossible d’être extrêmement précis, l’algorithme ne le permet pas encore. Ce n’était pas encore parfait, pourtant les chercheurs sont persuadés que leur intelligence artificielle pourrait être très utile dans la vraie vie. Au volant d’une voiture, un automobiliste pourrait par exemple mieux appréhender ce qui va arriver dans le prochain virage.

Pour Miika Aittala, scientifique chez Nvidia et chercheuse principale sur cette nouvelle technique d’IA : « on peut faire pas mal de choses avec des équipements d’imagerie sans visibilité directe comme les lasers, mais dans notre approche, nous n’avons accès qu’à la lumière qui atteint naturellement la caméra, et on tente de tirer le meilleur parti du peu d’informations qui s’y trouvent. Compte tenu des progrès récents des réseaux neuronaux, c’était le moment idéal pour relever ce défi ».