C’est le fruit des recherches d’une équipe de chercheurs de Berkeley Artificial Intelligence Research (BAIR) : modéliser un objet en 3D à partir d’une image 2D. Si pour notre cerveau, cela s’avère une mécanique que l’on apprend, c’est loin d’être le cas d’une vision artificielle.
Nos yeux nous permettent d’avoir une perception de la profondeur sans pour autant connaître tous les rouages de la géométrie 3D. Rien qu’en observant une photographie (donc en 2D), nous sommes capables de comprendre la forme des objets. De ce fait, les chercheurs ont essayé de modéliser notre compréhension au sein d’une intelligence artificielle.
Inscrivez-vous à la newsletter
En vous inscrivant vous acceptez notre politique de protection des données personnelles.
Le principe de base utilisé pour reconstituer la géométrie à partir d’une base est le fait que les formes ne sont pas arbitraires et, par conséquent, certaines formes sont susceptibles, et certaines sont très peu probables.
L’équipe de scientifiques s’est servie d’une image d’un avion afin de modéliser en 3D son fuselage. Ils ont ainsi montré une multitude de pièces qui composent le fuselage d’un avion (formes non arbitraires) pour que l’IA les intègre.
Le résultat est assez impressionnant de réalisme si l’on en juge le modèle 3D créé par l’IA de BAIR. L’équipe a mené plusieurs expériences à partir d’images en 2D différentes : angles de vues divers, image avec une couleur, image avec effets d’ombre… Ensuite elle a fait modéliser en 3D plusieurs rendus selon des résolutions différentes afin de les comparer. Les résultats sont tout aussi bluffants selon l’image de base :
C’est bien joli, mais à quoi cela peut servir ? Au-delà de la prouesse scientifique, cet algorithme pourra servir aux travaux effectués dans les domaines de la réalité augmentée et virtuelle (AR et VR). Dans le but d’améliorer les rendus d’objets en 2D lorsqu’ils seront modélisés en 3D. Ce sont les développeurs de jeux-vidéos qui seront heureux.
Source : BAIR.
